在印度古代传说中，据说有位饮酪仙人，他死后骨头变为金刚骨，帝释天把它用来制成了兵器，这个兵器就是后来的金刚杵。在后来的密教中，采取它寓有“摧毁敌者”的间意义，遂把诸尊圣神所执持的某些器仗，都称呼为金刚杵了。从而更把它转变为修法用的道具。
最初的“金刚杵”，其尖端颇为锐利。后来成为道具，其形状乃有变化。据慈氏菩萨略修愈哦念诵法卷下说：有“五股、四股、三股、二股、独股”等不同形式的金刚杵。也有分“金刚部、宝部、莲华部、羯磨部”等各种金刚杵，以及“如来最上金刚杵、忿怒金刚杵、微妙心金刚杵”等等的名目。不同的杵形，其含义也不一样，比如一钴(股)标示“独一法界——一真法界”;三钴表示“身、口、意”三密平等;五钴表示“五智五佛”，即五钴的中间一钴，表示佛之“实智”，外围四钴，表示佛之“权智”。而外围四钴向内弯曲，表示“ 权智”必归“实智”之义。“杵”的上下两端，钴状相同，表示佛界、众生界同具五智之义。
还有一种常见的金刚杵，上端为杵，下端为铃，这种铃和杵合用，在藏传佛教中也有深刻的内涵。铃象征着般若智，代表着通过金刚乘而变成5种无上智慧的心。铃有碰铃、金刚铃等，合称为藏铃。铃上部相当于佛身，下部相当于佛语，金刚于其心中。铃的含义是惊觉诸尊，警悟有情的意思。在和金刚杵一起使用时，还有阴阳含义在其内，一般以金刚杵代表阳性，以金刚铃代表阴性，有阴阳和合之意。