Umiejscowiona w naturalnym wytworze skalnym, w szczytowej części Perzowej Góry.
W kilku miejscach naturalna jaskinia została zmieniona: wyrównano krawędzie, wymurowano ścianki – zasypano i zamurowano korytarz po lewej stronie. Wnętrze wyposażone jest w dwa ołtarze Św. Rozalii-patronki kaplicy i M.B. Częstochowskiej – wymurowane współcześnie czyjąś niewprawną ręką…
Kapliczka św. Rozalii jest wielką osobliwością geologiczno-przyrodniczą na górze Perzowej, pomiędzy wsiami Kuźniaki i Hucisko. Źródła kościelne informują, że kapliczka ta należała od XIX w. do parafii Strawczyn i była ośrodkiem kultu dla tamtejszej ludności. Powszechnie wierzono w jej moc jako że grota powstała „w skale rękę natury utworzona”. Także tradycja potęgowała jej siłę. Okoliczna ludność przybywała więc tam, aby prosić o łaski, a zwłaszcza podczas epidemii i pomorów.
Na początku władze kościelne były nieprzychylnie nastawione do kultu jakim była darzona kapliczka. Jeszcze w 1820 roku reskryptem biskupa sandomierskiego Adama Burzyńskiego Komisja Rządowa nakazała zamknąć kapliczkę, gdyż uznała, „że lud bałamuci się tam i odnawia pogańskie praktyki”. Jednak mimo to do kapliczki dalej przybywały pielgrzymki. Na przełomie lat 20-ych i 30-ych XIX w. opiekowała się nią tercjanka-pustelniczka, która mieszkała w domku niedaleko. Gdy opuściła to miejsce, jej rolę przejęli żebracy, przebywający tam, głównie w porze letniej.
W czerwcu 1856 r. obraz św. Rozalii został przeniesiony do kościoła parafialnego w Strawczynie. Zadecydował o tym ówczesny proboszcz M.Tomaszewski. Miało to zapoczątkować akcję planowanego zniszczenia groty. Dziedzic Wólki Kłuckiej, Eustachy Kołłątaj, nie wykonał nakazu carskiego i nie zburzył groty. Mało tego – nakazał w 1861r. odrestaurować ją. Okoliczna ludność dalej przybywała do kapliczki, a zwłaszcza w okresie epidemii cholery w 1864 r. To właśnie dzięki Św. Rozalii -jak mówią lokalne opowieści- Kuźniaki i Hucisko ominął pomór.
W 1873 roku rozpoczął się spór o przynależność kapliczki. Proboszcz z Grzymałkowa, Stanisław Parobkiewicz uznał grotę za część swojej parafii i zażądał zwrotu obrazu św. Rozalii od proboszcza strawczyńskiego. Jednak dochodzenie przeprowadzone przez władze diecezjalne wykazało, że kapliczka należy do parafii Strawczyn.
Około 1870 roku zamontowano w grocie nowe obrazy, ozdoby, uporządkowano otoczenie. Wykonano mały ołtarzyk i kult Św. Rozalii został uznany przez władze kościelne, jednak modlitwa w kapliczce nie zwalniała z obowiązku uczęszczania na msze św. do kościoła strawczyńskiego.
W 1899 r. wybuchł pożar na Górze Perzowej. Ogień został zaprószony przez żydowskich właścicieli, którzy wycinali olbrzymie sosny, jodły i buki. Na szczęście las został zniszczony tylko w najniższych partiach góry, a kapliczka nie ucierpiała. Od tego czasu okoliczna ludność zaczęła jeszcze bardziej interesować się grotą. Odrestaurowano ją, wstawiono poświęcony ołtarz oraz umieszczono nowe obrazy.
W latach międzywojennych Góra Perzowa pełniła funkcję miejsca kultu. Istniało jednak zagrożenie z innego powodu, gdyż w pobliżu eksploatowano kamień. Transportowane bloki jednak pękały i zaprzestano wydobycia. W tym czasie przeprowadzono prace konserwatorskie m.in. odnowiono XIX-wieczny obraz św. Rozalii o wymiarach 20×25 cm, przedstawionej z wiankiem na głowie, krzyżem, otwartą księgą i ludzką czaszką – symbolami czystości dziewiczej i życia pustelniczego. (Obecny obraz namalowany został przez artystkę ludową w drugiej połowie XXwieku). W 1935 roku ustawiono na górnym głazie żeliwny krzyż, jako pamiątkę po „Dobrodzieju”, czyli niedoszłym kleryku, który organizował tam wiele akcji religijnych. Poważne prace wykonano tuż przed II wojną światową: zastąpiono gontowe zadaszenie szczeliny murowanym stropem z kamienia, zasypano i obmurowano loch w lewym kącie groty oraz uzupełniono zniszczone fragmenty ścian.
Do dziś na Górę Perzową przybywają liczne pielgrzymki. Dwa razy w roku (początek i koniec lata) odbywają się tam msze. Jest to nadal miejsce kultu, ale także ciekawy zabytek historyczny i osobliwość natury. (legendy związane z Kapliczką – w rozdziale Historie i legendy)
We wrześniu 2021 roku TVP nakręciła krótki film nt. kapliczki i groty, w której się znajduje: https://kielce.tvp.pl/56440559/17102021