大迦叶一向是安心修习他的头陀苦行。说起他的修习苦行，直到老年，无论在什么情形之下，或是什么人劝说，他都不肯中断他的苦行。凡是修习头陀苦行的人，第一要选择空闲的地方，第二要过托钵的生活，第三要常居一处，第四要一日一食，第五要乞食不择贫富，第六要守三衣钵具，第七要常坐树下思维，第八要常在露地静坐，第九要穿著粪扫衣，第十要住于坟墓之处。修学头陀苦行，就要过如此简单的生活，也是清净的生活。
对于大迦叶这样的人，不去度众生，而喜欢离群独居，过苦行的生活，比较积极的比丘们总不太同情，他利人的悲心可以说值得人敬仰，但他弘法的热情显然是不够。除了佛陀，与外道辩论、教化僧团中诸比丘的大弟子，就是舍利弗和目犍连二位尊者，大迦叶是当佛陀与二大弟子在世的时期专心修道，期间或对在家的居士说法。当佛陀灭度后，能够代佛陀统理大众的实力，就是在这期间养成的，他如同巨钟一样，沉默的时候就沉默，但一遇到因缘，他就可以发出响亮的洪声。
当初舍利弗和目犍连二位尊者，也曾劝过他忘去自我，发菩提心来从事弘法利生的真理运动，大迦叶总是坚定的回答他们说：「关于弘扬正法、教化众生，我实在是不行，忘去自我，多么不容易啊!教导没有信心或恶智的人，我实在没有那种勇气和毅力。我愿意在自己的生活中，树立起更艰苦的修行榜样，让后来者对于少欲知足的头陀苦行知道尊重与实行。弘法利生的艰巨任务，全赖你们担当了。」听了大迦叶话后的舍利弗和目犍连尊者，并不感到失望，反而称赞道：「长老能够在这方面树立法幢，也是非常难得，佛法是多方面的，各人可以依着自己的志趣实践自己的理想，我们为长老祝福!」
大迦叶最不喜欢住在竹林精舍或是祇园精舍过团体的生活，他甚至厌恶那里的和乐环境，他喜欢的是在露天静坐、冢间观尸、树下补衣。他认为尸臭或骸骨，对于修无常、苦、空、无我、不净观等，才更合适。大迦叶不怕狂风暴雨，不惧日晒夜露，他枯瘦的老年之身，总是住在深山丛林的树下，或是白骨遍野的墓间，对于他的头陀苦行，任何人劝说，他都不停止。