A több mint 250 éves épület a Vác főterét szegélyező házak sorában áll, nagy méretével és a tetején lévő kis huszártoronnyal emelkedik ki a térfalból. Az irgalmasok rendje 1763-ban telepedett le a városban, rendháznak a 18. század első felében épült régi papneveldét alakították át, melyet Migazzi Kristóf püspök adományozott számukra. A szerzetesek, akik fogadalmuknak megfelelően a gyógyításnak szentelték életüket, Pozsony, Eger és Temesvár után itt is létesítettek kórházat. Kápolna és patika is helyet kapott az épületben, amely eredetileg két önálló lakóház volt. Az ispotály átalakítási munkálatai 1785-re fejeződtek be.
A tetőn lévő kis harangtorony jelzi a kápolna épületen belüli helyét. Oldalfalait és csehsüveg boltozatát Lohr Ferenc 20. század eleji falképei díszítik. Jobb oldali mellékoltárának egyik képe a rend alapítóját, Istenes Szent Jánost ábrázolja, aki portugál katonából 40 évesen vált a betegek elhivatott ápolójává. A patika dongaboltozatos, egykor aranyozott stukkódíszes helyisége 1825-ig egyedül szolgálta ki a város lakosságát.
1937-ben emeletes udvari szárnnyal bővült az épület. A második világháború utáni államosítást követően városi kórház lett, 1992 óta az irgalmasok újra visszakapták. Az épület műemléki helyreállítása 2006-ban kezdődött meg, építészeti értékeinek feltárását és bemutatását a kórház folyamatos működése mellett kellett megoldani. A földszint udvari oldalára, az utólagos toldalékok elbontását követően, üvegezett szerkezetű előcsarnok került. A tér felöli homlokzati falak visszakapták eredeti törtfehér színüket, és restaurálták az ablakok kovácsoltvas védőrácsait és szalagkereteit.