Gróf Bethlen András az 1890-es évek elején elhatározta, hogy a Hámori-tó közelébe kormányüdülőt építtet. A település nevét Bethlen unokahúgáról, Vay Erzsébetről kapta, akinek a beceneve Lilla volt (Lilla Vay Elemérnek, Borsod vármegye akkori főispánjának testvére volt).
Amikor 1920-ban Horthy Miklós kormányzó gróf Bethlen Istvánt kinevezte miniszterelnöknek, az új kormányfő a Népszövetség támogatásából építtette fel a Palota-szállót.
A Garadna-völgyben a két patak összefolyásánál kialakult kisebb, természetes tavat 1813-ban egy völgyzáró gáttal visszaduzzasztották, hogy biztosítsák a vashámorok – vízzel hajtott pörölyök – működéséhez szükséges vizet.