据《龙虎山风景名胜区资料汇编》中记载，“东汉未年（公元１２４年）道教创始人——张道陵，来云台山修道练功，采药炼丹，在山顶建立供用练功、住宿的庙宇”。因此，云台山成为上清龙虎山十三景点之一。唐朝时庙内就塑有白、李、黄三位仙姑神像。白、李、黄仙姑是道教仙，因此云台山成为道教名山。

云台山主峰海拔８５８.２米，一峰耸立，万山匍伏。群山环绕，西山、藐菇山、应天山、五台山、天华山，团团簇拥，把云台山绕在中间，犹如攀天柱。登上峰顶，环顾四望，一览众山小。向东望，上饶的灵山，特起凌霄，缥缈如画，下视弋阳圭峰，昂首穹背，形态逼真。东南天华山迎面相峙，恰似锦屏。每当春夏清晨，云雾环山，如海浪，汹涌澎湃。太阳初升，岚光焕彩，皓魄当空，金光万丈，身临其境，仿佛在云山雾海中，有凌虚御风之感，故名“云台山”。

清乾隆二年（１７３７年），乾隆皇帝下江南，游此即兴作诗一首，诗曰：“雨后凭栏，三百里，鄱湖在眼。逍览岭石，千万点，星斗罗胸。”并题“敕封云台山”镌刻石碑保存至今。至清咸丰年间进行规模建造，庙宇非常壮丽，是按古风宫殿式设计，四周用石砌墙，且砌砖过屋脊，分上下两大栋，上栋是道教堂（仙姑殿），建筑奇特，整个殿堂是按隋朝的风格用方块麻石卷成拱形。下栋是观音堂即佛教堂，教堂内可同时容纳几百人做功课，每年打“百子灯”醮就放此堂，道佛两殿，仙佛像精雕细刻，各种花纹图案金朱油漆，殿前还装有玻璃屏障，道佛两教堂正中上盖卷有锅底蓬，柱壁全部涂沫朱红油漆，整个庙内，深幽静寂，香烟缭绕，走入庙内香气扑鼻，使人别有一种感觉……令人遗憾的是：民国３５年（一九四六年）立冬之日，前来庙宇守“冬”的香客太多，不小心失火，致使两座宝殿建筑付之一炬，只剩下乾隆皇帝御笔留下的“敕封云台山”石碑。