A botanikus kert kastélyparkból alakult ki, első írásos említése 1827-ből származik. Többszöri tulajdonosváltás után 1871-ben Vigyázó Sándor gróf vásárolta meg a birtokot. A gróf az eredeti kastélyt átépíttette, és a kertben is hatalmas munkákat indított el. A kerten átfolyó Sződ-Rákos patak és egy meglévő tó átalakításával kis hidakkal, vízeséssel tarkított, összefüggő tórendszert alakítottak ki. A kitermelt nagy mennyiségű földdel az amúgy is lankás domboldalakat még változatosabbá tették. A romantikus hatást alagút és vízi malom építésével tették teljessé a 19. század végén.
A gróf halála utáni időszak borzalmas pusztítást hozott. A tulajdonjog körüli pereskedés, az új tulajdonos által elrendelt bontások, fairtások, majd a második világháború rombolása nem maradtak következmények nélkül. Sok viszontagság után 1952-ben végre megvalósult Vigyázó Sándor szándéka, az ingatlan a Magyar Tudományos Akadémia birtokába került.
