Egy XIX. századi forrás a ciszter kolostor könyvtárának leírásánál említi meg, hogy milyen megnyugtató érzés az ablakból kitekinteni az apátság kertjére. "Az ablakból láthatók a mintaszerű ágyások, a kerengőt alkotó fasor és a Rába felőli részen elhelyezkedő kertészlak és az üvegház a téli barakkház mellett."
Nincs hiteles forrás arra, hogy a kertészház mikor épült, de azt tudjuk, hogy 1734-ben már állt. A barokk monostor építésekor idetelepedő heiligenkreuzi ciszterek ugyanis először a Schlössl várkastélyába költöztek, majd az építkezés színhelyén lévő kertészlakba, amelyet 1747-ben újjáépítettek. Ez az évszám szerepel az épület bejárata fölött. Az elnevezés arra utal, hogy déligyümölcsöket is termesztettek benne: "Itt van nyugotra a kertészlakás, üvegház és téli berakház mellett a virágos kert törpe gyümölcsössel, az annanas ágy, a narants és czitrom nyári szállás..."
A ciszterek 1950-ben történt kitelepítése után lakóházként szolgált, amíg lakhatatlanná nem vált. A leromlott épületet 1996-ban kezdte átépíteni Gömbös Sándor. A "Narancsos ház" ma jól illeszkedik a színház, templom és kolostor alkotta épületegyütteshez.

Források:
Zlinszkyné Sternegg Mária: A szentgotthárdi apátság története és művészetének emlékei (1183- 1878). In: Szentgotthárd monográfia 1981
Dóczy József: Története és viszontagságai Szentgotthárdnak. Esztergom és Pest, 1832. Idézve Zlinszkyné tanulmányának 419. oldalán