慧寂禅师刚到仰山,恰逢唐武宗下令拆除天下寺院四千六百余所,勒令僧尼还俗者达二十六万之多,佛门称这次浩劫为会昌法难。不过,远在袁州深山里的慧寂,似乎并没有引起朝廷特别的注意,躲过了这一劫,仍然是青灯黄卷,精修禅法;耕地种田,艰苦为生。有传说云:一日,天上降下一位神通广大的梵僧,慧寂问:师尊何处来?梵僧云:来自西天。又问:几时离开彼处?答:今早。再问:何来太迟?答:游山玩水。慧寂又说:神通游戏则不无,师父佛法须还老僧始得。梵僧道:特来东土礼文殊,却遇小释迦。说完,取出许多梵书贝叶赋予慧寂,忽腾空冉冉而去。从这之后,慧寂号小释迦,在仰山栖隐寺一住二十年,弘扬禅法,参学习禅者据称达五六百人之多,仰山栖隐寺遂名扬天下。
栖隐禅寺虽然片瓦不存,所幸文献还在,所幸禅宗的经典还在,所幸慧寂大师的行迹还在。中国佛教协会会长一诚大法师已接沩仰宗的法嗣,时时关心着栖隐禅寺的重建;其法徒妙安法师也正在为此奔波,地方政府亦鼎力相助,看来,重建沩仰宗祖庭道场决非是梦了。