位于深山之中的方广寺沿南天门山脊南行，经西岭顺北麓约走5公里，就到了深邃幽雅的方广寺，这里古木森森，银泉淙淙，周围八座山峰如莲花瓣瓣，方广寺就是莲心。该寺始建于南朝梁天监二年（公元503年），后屡废屡兴，保存至今外貌完好。方广寺在莲花峰下， 寺上一里为狮子山，稍下有两座青山对峙，形成一个狭口，宽仅三、四丈，多枫树、杉树，十分茂密。每年深秋，枫叶火红，杉枝墨绿，置身密林，分外清爽。林中 有溪涧，涧水注入深不见底的潭中，声若洪钟，水从潭口溢出，迂回曲折。顺溪而下，有许多珍稀树木，如横豆杉、银雀、香果树，其中有一株娑罗树，生长在岩上 石缝中，已有数百年树龄。距寺十里有黄沙潭、白沙潭、黑沙潭等诸多潭水。黑沙潭潭深不见底，水呈苍黑色，形成高达二丈、宽一丈余的瀑布，深潭石壁上宋徽宗 亲笔题词“海南龙湫”四个大字尚存。
“南岳四绝”之方广寺之深。位于南岳衡山莲花峰中央花蕊之上。据《南岳志》载：寺始建于南朝梁天监二年（公元五零三年）。南岳高僧之一的惠海来到这八座青 峰围绕的狭长山谷中，见此地与世隔绝，岩壑幽邃，就在这里结草为庵。据《一统志》载：一天，惠海正在庵中诵经，忽然有五位身材伟岸的壮士求见。来人面容各 不相同，分青、黄、紫、白、黑五色，都身穿白袍。五人请求惠海和尚允许他们听经学佛。惠海问他们是何方人氏，他们回答说是南岳山中的五位龙神，如果允许他 们听经，他们愿意让出一块平地，献给惠海建造寺院。惠海答应了他们的要求。当天晚上，山谷中乌去骤起，霎时雷声隆隆，大雨滂沱，传来阵阵“哗啦啦”的响 声。第二天清早，惠海起来一看，只见山下出现一块宽敞的平地。惠海到处化缘募捐，在这块平地上建造了一座规模宏大的寺院，寺名方广，寓佛法“十方广布”之 意。这就是《南岳志》上记述所谓“五龙听经，平沙献地”的故事。
据《南岳志》记述，这座六朝时的古刹，在唐代曾改名为方广圣寿寺，宋初又赐名方广崇禅寺。寺院经过隋、唐、宋、元、明五次修建，屡修屡废，屡废屡兴。明初，浩空和尚将寺院改建为板屋，盖上铁瓦，增设佛堂。并在寺院内雕龙绘凤，把寺院装饰一新。公元一五九四年，明神宗赐给方广寺一部佛经及佛像、宝幡， 并专门建造藏经阁予以安放，后来寺院倒塌。在明崇祯十六年（公元一六三四年），王夫之兄弟及夏汝弼等人受巡抚褚胤锡委托，再次筹款，重新修建。经过两年时 间，方广寺焕然一新，雄伟壮观。清顺治五年（公元一六四八年）十月，王夫之在莲花峰下组织抗清义师，曾在方广寺内聚会。后来虽然失败，从此以后方广寺却声名远播。
不久，方广寺毁于大火，“门庑不设，僧葺茅舍以居”。直到清道光年间，由曾国藩的曾任陕甘总督的弟弟曾国荃重新修建，费资白银二万余两，才成为现在的规模。方广寺正殿中原有宋徽宗写的“天下名山”四字金匾。寺前有一条小溪，寺左有石涧潭，泉水从石上流下，成为瀑布，注入深不见底的潭中，声若钟鸣。这里林泉山峦秀美，处境幽静深邃，游人到此必有一种“幽深”之感，故前人有“不至方广，不足以知其深”之说。