Byšičky se nacházejí nedaleko obce Lázně Bělohrad asi 15 km od Nové Paky. Kostelík byl původně románský, ze 13. století. Po gotických a barokních úpravách dostal dnešní podobu v roce 1854, kdy jej nechal opravit Alfons Aichelburg, tehdejší majitel bělohradského panství. Dnes je kolem kostelíku hřbitov, kde ze známých osobností odpočívá hudební skladatel a dirigent Karel Moor a spisovatelka Dr. Leontina Mašínová.
K tomuto výletnímu místu se váže děj balady K. J. Erbena Svatební košile z básnické sbírky Kytice. Obejít můžete také křížovou cestu. Původní kamenné sloupy, které se podařilo najít, byly opraveny, chybějící podstavce byly doplněny. Čtrnáct biblických výjevů namaloval místní výtvarník František Koubek. Křížová cesta byla vysvěcena na Velký pátek roku 2002. Původní křížovou cestu zřídil poustevník Augustin Hoření, který žil v poustevně u kostelíku v letech 1851 – 1880.
Kostelík je oblíbeným poutním místem, ke kterému chodí často i pacienti z místních lázní.