L’expression « grenouille de bénitier » est à rapprocher de celle de « punaise de sacristie ». Les deux sont basées sur le même principe, sur la même construction linguistique :

Ces deux expressions désignent une bigote, une dévote. Elles sont évidemment péjoratives, et sous-entendent une pratique excessive voire pervertie de la religion. Il n’existe pas à ma connaissance d’équivalent masculin de cette expression. Qui a jamais entendu parler de « crapaud de bénitier » ?

Il existe aussi une vraie « grenouille de bénitier » dans une église de Narbonne : La collégiale Saint-Paul-Serge.

Au fond du bénitier on trouve ce qui peut être soit une sculture de grenouille soit une grenouille pétrifiée selon vos croyances :

La légende raconte que la grenouille aurait troublé un office religieux par son chant. Les foudres divines se seraient abattus sur le batracien, la changeant en pierre pour ce blasphème. A cette époque, on ne plaisantait pas avec la religion.

Bibliographie :

• Wiktionnaire : grenouille de bénitier
  
• CNRTL : définition de Grenouille et de Sacristie
  
• L'internaute : grenouille de bénitier
  
• synonymes de PUNAISE DE SACRISTIE
  
• Expressio
  
• Pourquoi dit-on ''grenouille de bénitier'' ?
  
• Le Wiki de Narbonne
  
• Du nouveau sur la grenouille de Saint-Paul (Narbonne), par Jean Boulet
  
• Lieux sacrés
  
• Une punaise de sacristie, comment ça marche?