大迦叶出家之后，即安心修习头陀苦行，不愿过竹林精舍或只园精舍的僧团生活。其主要原因是在于精舍的环境与生活条件太好了，他喜欢在露天静坐，冢间观尸，树下补衣，尊者认为尸臭和白骨，对修习无常、苦、空、无我、不净等观想，比起在精舍中修更合适。大迦叶不怕口晒夜露，也不惧狂风暴雨，总喜欢住在深山丛林的树下，或是尸骨遍野的墓群之间，对于人家的劝说，他都不在乎。如舍利弗和目犍连等都曾劝他发菩提心，从事弘法利生的布教活动。他就说：“我只能如此修苦行，使来者对少欲知足的苦行能尊重并能实行。”
大迦叶进入老年之后，对于苦行的修习越来越认真。有一次佛在鹿母讲堂为众说法，大迦叶身穿粪扫衣，蓬发垢面蹒跚走来，佛陀就劝他说：“你年纪老了，不要再继续苦行，脱下粪扫，换上信众所供奉的轻软之衣，不要过度地疲劳。”而大迦叶深知过艰苦而严肃的生活对培养健美德行的重要，就说：“我以头陀苦行为乐事，不为衣愁，不为食忧，没有人间的得失，我这样做使我得到清净解脱的喜悦。”佛陀听后就向大众开示说：“将来佛法的毁灭，不在天魔外道的破坏，而在于僧团的不和与腐化。大迦叶的话说得很对，要弘扬佛法就必先要巩固僧团，要巩固僧团，就要求大家以戒为师过严肃的生活。我的正法必须让大迦叶那样的人来住持。”佛陀与尊者师徒间的情谊，不同平常，佛对尊者有如宾客和亲人，但尊者从不忘以师礼待佛，这和谐温暖的师徒关系，给后世树立了不朽的榜样。