相传五代后梁明贞二年，很多日本出家人都到中国访道寻师。慧谔和尚，远渡重洋，至山西五台山，朝拜大智文殊师利菩萨，游遍五台圣地，见一尊观音大士的圣像，清净庄严，心羡不已。慧谔和尚本想向寺庙当家师傅商讨恭请回日本供养，但又怕师傅不允所求，最后只得不与而取。
慧谔和尚既获宝像，马上束装就道，乘舟东渡，欲恭请观音菩萨回日本。这条船行至舟山群岛，有一名叫新罗礁的地方，忽然海中现出无数的铁莲华(今称莲华洋)，三日三夜挡舟不能前进，只有远远的在普陀山四周打转。如向东开，即有铁莲华从海生出，阻道不前。慧谔和尚惊恐万分，心中忐忑不定，忽然想起这尊菩萨是不与而取偷来的，这时他恍然大悟，引咎自惭，跪下去向菩萨祷告说：”大士!弟子因见菩萨圣像庄严，我国佛法未遍，圣像少见，我想将菩萨圣像请回日本供奉，假使我国众生此时无缘见您，当从所向，弟子即就该处，建立精舍，供奉圣像’，祷罢舟行，竟至潮音洞边，安然停下。
那时普陀山还是一片荒岛，野无人烟，只有几个捉鱼为业的渔翁，在山上搭几间茅草蓬子，住在海边山凹里。当时慧谔祖师靠舟上山，寻了大半天，好容易才在靠潮音洞不远的山旁边，找到一间渔人茅舍，该舍主人就是打鱼为业的张渔翁，经过慧谔和尚说明来意，他大为感动，同时也欢喜得了不得，菩萨连日本一个国家都不愿意去，而要住在我们这个孤岛荒山之中，这一座荒山真是与菩萨有大因缘了。我们住在这里附近的人民，也真是有很大的福德和善根哩，所以才能得到观世音菩萨显化此山。