樂智協會有限公司由一群服務智障人士機構的行政人員、教師、社會工作者、專業人士、家長及智障人士的朋友組成。一九七五年創辦樂智青年康樂中心，借用校舍提供服務，一九七七年協會正式註冊為非牟利慈善團體。一九八一年於大窩口社區中心地下，正式成立大窩口青年中心，並於一九八四年獲社會福利署資助全部經費的85%；一九八六年協會獲公益金資助，展開於觀塘區的服務，借用社會福利署觀塘小組及工作部的活動室，開始了為九龍區智障青年提供社交及康樂活動的新里程。一九九五年協會於藍田(西)社區中心地下取得會址，正式成立了藍田青年中心，把服務範圍擴展至不同地區，祈能服務更多有需要的會員。二零零一年，本會於北區社區會堂暫借了一個會議室，開展了北區青年中心的服務，為北區的會員提供社交康樂活動。