Málokoho by napadlo, že uprostřed městečka se skrývá světový unikát – kostel s poustevnou. Zde se shromažďovalo duchovní seskupení bratrů poustevníků sv. Ivana, které existovalo jen v 18. století a navíc jen v Čechách.
Jedinečná je poustevna tím, že se jedná o jediný objekt svého druhu na světě, který se do dnešní doby dochoval. Památka byla založena pro potřeby poustevníků již v 18. století. Ivanitská poustevna vznikla díky lékaři a doktoru filozofie Janu Maxmiliánu z Peytersbergu, který se během svého života rozhodl pro poustevnický život a poustevna tak sloužila nejen jemu jako domov. Nacházejí se zde nevšední rokokové fresky. Za záhadné bývají považovány šifry, které se tu nachází a také se traduje, že pod kostelem hrobkou vede tajná chodba.