合浦之有寺庙，以东山寺为始。
秦汉之际，南越王赵佗驻军合浦，设行宫作大本营，指挥训练水师，筹集军粮，反击入侵的瓯雒***队。
汉末三国纷争，合浦郡时为吴土，时为晋地，战事频繁，南越王行宫由是湮没。
晋兴，郡人在行宫故地建灵觉寺，为广西现存最早的两间寺庙之一，故有“三廉古刹”之称。
南朝萧梁时期，天竺高僧达摩渡海而来，到东山寺参禅礼佛时，赞东山寺有“佛光云霞”之瑞。
隋唐一统，佛教兴盛，灵觉寺一度以达摩之言改称“云霞寺”。
宋，宝山成禅师拜缘至珠城，因闻达摩之名及所留圣迹，遂立愿重修扩建寺庙，寺成，以达摩所创禅宗传至五祖弘忍东山开法，史称“东山法门”，故以“东山”为寺名，以示系出禅宗“东山法门”之源。时为一方胜景，岭南名刹。
那时，东山寺建成四进，南北两庑。其一山门，其二金刚殿，其三大雄宝殿，其四观音殿。供奉四大天王，佛祖释迦牟尼及阿难和迦叶、十八罗汉，观音大士，护法天尊诸法相。由是，东山寺佛缘深厚，名声显于三廉，功德广播八属。