A belváros szívében, a Ferenciek tere és az Astoria között húzódó telek 1696-ban került Pest megye tulajdonába, mikor is a városi tanács, gróf Esterházy Pál nádor javaslatára megvásárolta. Bél Mátyás evangélikus lelkész számol be 1737-ben a telken álló „tágas, jól és kényelmesen készített” hivatali épületről, mely mai, három udvar köré rendezett formáját a 19. század első felében nyerte el.
A középső szárny a tanácsteremmel és a börtönkápolnával Hild József építőmester nevéhez köthető. Ezután épült ki a Semmelweis utcai U-alakú tömb, amely a tömlöcnek és lakásoknak adott helyet, ennek terveit a legújabb kutatások szerint Decsy József és Dütrich József közösen készítették, és 1832-re épült meg. A Városház utcai nyugati tömbben egy évszázada működtek már a hivatali helyiségek, mikor az 1838-as árvíz után repedezni kezdtek a falak. A megyei közgyűlés új épület emelését határozta el, ehhez kisajátították a mai Kamermayer téren álló Macska fogadó telkét is. Grandiózus homlokzatát középen enyhén előrelépő, magas oszlopokra támaszkodó timpanon zárja le, mezőjében a megye címere kapott helyet. A tagozatok és az ablakok aránya, ritmusa a főváros egyik legkiválóbb klasszicista épületévé avatja Zitterbarth Mátyás építész művét.
A belső udvart háromszintes árkádos-oszlopos tornác veszi körül, emeleteire vörösmárvány lépcsők vezetnek. Erre a díszudvarra néznek a tanácsterem ablakai, amelyben egykor gróf Széchenyi István, gróf Batthyány Lajos, Kossuth Lajos, Petőfi Sándor és Jókai Mór is megfordult. A következő udvarba a robosztus pillérekre támaszkodó kapualjon keresztül jutunk. A földszint rácsos ablakai mögött valaha tömlöc volt. Az udvarra vezetett a halálra ítéltek utolsó útja, ezért nevezik máig Akasztóudvarnak. Az egykori börtönkápolna a következő keresztszárnyban ma már a levéltár díszterme, színes üvegablakai, melyek a megyének, főispánjainak és főbb birtokos családjainak címerét ábrázolják, 1940-ben készültek.
Az épület lassan 300 éve központja Pest megye közigazgatásának. Sokszori bővítését minden alkalommal a levéltár és az 1921-ben megszűnt börtön zsúfoltsága indokolta. Előfordult, hogy egymást követő években kétszer is megszöktek a rabok, kibontva a börtön mennyezetét a levéltár felé. Az épületnek a 20. században aztán súlyosabb gondokkal is szembe kellett néznie, több vihar, forradalom, háború lezajlott az ódon falak körül. 1910-ben felvetődött átépítésének, majd eladásának – szerencsére meghiúsult – gondolata is. A második világháború bombái az utcai szárnyakat rombolták le, de a helyreállítás nem változtatott az eredeti külsőn. A ma már műemléki védettséget élvező épület a nagyközönség számára is látogatható koncertek, konferenciák, vagy vezetett séták alkalmával.