伽蓝是“僧伽蓝”的略称，梵文saaghirima的音译，亦译作“僧伽罗摩”，意思是“众园”，也就是“僧园”、“僧院”。原指修建僧舍的基地，转而为包括土地、建筑物在内的寺院的总称;《十诵律》卷五十六：“地法者，佛听(允许)受地，为僧伽蓝故，听僧起坊舍故。”
舍卫城的须达多，人称给孤独长者，他为了请释迦牟尼到舍卫城说法教化，同佛的弟子舍利弗一同为释迦牟尼选择居住的地方。他们选定舍卫国太子祗陀的花园，祗陀索要高价，给孤独长者如数拿出;这种诚意感动了祗陀，二人决定共同请佛来住。这座园林便称“胜林给孤独园”，又称“祗园精舍”，这是佛教最早的寺院。后来，佛教寺院有伽蓝殿，殿中供奉的波斯匿王就是舍卫国的国王，左侧供“奉的就是祗陀太子，右边供奉给孤独长者，以表示对他们护持佛教的功德的感激和崇敬。伽蓝殿广般位于大殿东边，属配殿。
伽蓝殿和伽蓝三尊在佛寺中出现后，伽蓝神的产生就事属必然了。伽蓝神的队伍据《七佛教》、《释氏要览》等***载，护寺伽蓝神有十八位：美音;梵音、天鼓、叹妙、叹美;摩妙、雷音、师子、妙叹：梵响、人音、佛奴、叹德、广目、妙眼、彻听、彻视、遍视。
后来，佛教在中国的流传中，伽蓝神的队伍不断扩大，新被民间收编进伽蓝神队伍的有明代书法家祝允明;宋代文学家苏东坡;还有慧感夫人。其中最有名的当属关羽。