白鹿洞在虎溪岩山后，玉屏山的南侧。洞与虎溪岩同时为明代林懋时开拓。据《厦门志》记载：“白鹿洞左右多崩崖立石，中有亭树掩映，旧建有大观楼、宛在洞、接因亭。乾隆间又开拓六合洞、朝天洞、御山亭。”

白鹿洞名称的来源，据传，洞初开拓时，在这里建阁奉祀理学家朱熹。因朱熹尝在江西庐山建白鹿洞讲学，遂取名白鹿洞。后人在石洞中雕造一只白鹿，加以传说美化，因此有“白鹿衔烟”的传称，列为厦门“小八景”之一。

白鹿洞创建于清康熙四十四年（1704）甲申，开山祖师为苇老和尚。在此之前，明尝建有义学，清初“迁界”，鞠为茂草。康熙三十七年，威略将军吴英为水师提督，为奖励文教，建造文昌殿，复构萃文亭，增置学舍为教学之所。不久，绛堂渐虚，遂为琳宫梵宇。乾隆十六年（1751）辛未，代理水师提督倪鸿范倡学，乃逐僧徒，迁佛像，拆殿宇，建玉屏书院。道光四年（1824），洞僧永瑞上人募集资金重建大观楼，施主自为《重修白鹿洞序》。清末民初，书院衰落，佛教再兴。清末民初先后重修、扩建寺宇，由觉斌和尚住持。后觉斌就任南普陀寺都监，由妙廉继任。建国后，1958年部队借住寺宇，曾对寺宇进行重修。1988年由旅居香港的元果法师集资兴修，扩建殿堂楼阁，新塑诸佛菩萨金像，铺砌石级、石栏。装修楼台亭阁，寺容寺貌，焕然一新，现住僧众十余人，俨然为一庄严宏伟的佛教道场。

白鹿洞后悬崖石壁上有许多摩崖石刻，大都出自名家手书，其中有“明天启癸亥（1623）十一月二十日广陵朱一冯以督师剿夷至此”和“天启癸亥晋阳赵纡督师到此”的两行石刻，具有重要的历史资料价值，为史学界所重视。