Historie a vznik zámku, ve kterém se dnes nachází domov pro osoby se zdravotním postižením a domov pro seniory má svou bohatou minulost.
První písemné zmínky se datují k roku 1350, kdy zde stávala středověká tvrz. Tu v 16. století nahradil renesanční zámeček, který nechal postavit Jan Dubčanský ze Zdenína. (Tato informace však není stoprocentně potvrzena žádným archeologickým výzkumem.) Ten také prodal zámek Janu Bohuslavu Zoubkovi ze Zdětína. Poslední majitelkou z rodu Zoubků byla Kateřina Alžběta, která odkázala panství jesuitům. Ti přebrali panství v roce 1636, kdy zemřela. Po zrušení jesuitského řádu v roce 1773 se Habrovan ujímá Studijní fond. Ten jej měl v majetku až do roku 1824, kdy jej koupil brněnský velkoobchodník Jan rytíř von Herring. Doba jeho vlastnictví zámku byla dobou rozkvětu a přestavby zámku do dnešní podoby. Erb Herringů je na štítu zámku umístěn do dnes. V roce 1876 kupují zámek Max a Julius Gomperz.V roce 1883 přepsal Max svou část na Julia, který měl za manželku Karolínu Bettelheim. Ti měli zámek jako své letní sídlo. Oba se zajímali o dění v obci a byli velice charitativně založeni. Posledním majitelem zámku z rodu Gomperz byl Juliův synovec Filip. Ten v roce 1940 prchá před pronásledováním židů do Švýcarska a zámek zabavují nacisté.
V dalších letech slouží zámek k mnoha, ne vždy potvrzeným účelům, ubytování uprchlíků Sudet, výukové středisko SS, ubytování německých vojsk, ubytování dívek určených ke germánské převýchově. 27.dubna 1945 přichází osvobození Habrovan. Zámek vlastní stát a 9.10.1949 zde zakládá ústav s názvem „Dům tělesně vadných v Habrovanech“, s kapacitou 29 obyvatel. Lze jej charakterizovat jako středisko tělesně postižených. Do roku 1951 byl součástí ústavu v Brně – Královém poli a od tohoto roku se stal samostatnou organizací. V letech 1975 -1990 byl součástí Okresního ústavu sociálních služeb ve Vyškově. Od 1.1.1991 byl potom samostatnou organizcací, jejímž zřizovatelem bylo MPSV ČR, až do 30.6.2001. Ke dni 1.7.2001 se stal příspěvkovou organizací, jejímž zřizovatelem je Jihomoravský kraj.
Během let 1991 -2001 doznal domov značných změn. Proběhla řada rekonstrukcí a přístaveb, ať již historické budovy zámku nebo i jiných. Došlo k vybudování nástavby, půdní vestavby, přístavby a tím byly získány nové prostory pro obyvatele, čímž se zkvalitnila úroveň ubytování a současně s tím i poskytovaná ošetřovatelská péče, dále byly získány prostory pro volný čas klientů, rehabilitace, rovněž bazén, rekonstrukce koupelen a další zařízení.
Značných změn doznalo i okolí areálu zařízení, v roce 1996 byla provedena parková úprava, která je řešena bezbariérově pro pohyb imobilních klientů. V roce 2002 a 2003 byla zrekonstruována hospodářská budova, jejímž dokončením byly získány jak provozní prostory, tak i prostory pro volný čas klientů. Rozsáhlá rekonstrukce kuchyně v domově a celého stravovacího provozu proběhla v roce 2005.
