Schossberger Zsigmond terménykereskedőként nagy vagyonnal rendelkezett, és a 19. századi pénzarisztokrácia divatos szokása szerint ő is festői historizáló kastélyt építtetett, melyhez hatalmas parkot is vásárolt. A rezidencia óratornyának szélzászlaján olvasható az építés éve, 1883. A kastély tervezőjének sokáig Ybl Miklóst tartották, de a legújabb kutatások kiderítették, hogy minden bizonnyal Bukovics Gyula mérnökkari százados volt az építész, aki valószínűleg az idős mestertől vette át a munkát, aki ekkor az Operaházon dolgozott.

Az épület magas tetőivel és kupoláival a francia reneszánsz kastélyokra emlékeztet, a bejáratok és az üvegezett íves árkádsor az olasz reneszánszot idézi. A kastélyt a kor legmodernebb gépészetével szerelték fel, bevezették az áramot, volt központi fűtés és étellift. A luxust és a kényelmet fokozta az óratorony, a hatalmas pálmaház és a tükrös fénycsapdák, amelyek az épület sötétebb tereibe vezették a természetes fényt. Az 1890-ben bárói címet vásárló család legtöbb tagja itt töltötte napjait tavasztól őszig, csak télre mentek vissza a fővárosba. A kastélyparkot Nagy-Magyarország alakúra tervezték, sőt mesterséges dombokat emeltek az ország hegységeinek helyén, és az adott terület növényeivel telepítették be az „országrészeket”.

A család tagjai 1945-ben Amerikába menekültek, az épületben pedig általános iskola kapott helyet, majd éveken át elhagyatottan állt, végül 1990-ben magántulajdonba került. A kastélyon 2011 óta folyamatosan végzik a legégetőbb állagmegóvási, javítási munkákat, de egyelőre még mindig lakhatatlan állapotban van. A mesébe illő kastély így is rendkívül kedvelt helyszíne filmforgatásoknak, esküvői fotózásoknak, ősfás parkja pedig mindenki számára látogatható.