关于玉衣的起源，最早可追溯到东周时的“缀玉而幕”和“缀玉衣服”。1954年至1955年，在洛阳中州发掘的春秋战国墓葬中，尸体面部有带孔的玉片，按五官的位置排列，尸体上也有玉片，这可能是玉衣的前身。《吕氏春秋》节丧篇中述及的“含珠鳞施”，“含珠”施于口内，“鳞施”则施于身上，即用玉片或金属片，像鱼鳞般施于身上。玉衣至汉代才正式见诸记载：“汉帝送死，皆珠衣玉匣，匣形如铠甲，连以金缕”。《汉书.霍光传》：“光薨，赐金钱，缯絮绣被百领，衣五十蕨，璧珠玑玉衣。”但以玉衣敛尸只延续到东汉未年。曹委黄初三年（公元222年），曹呸鉴于“汉氏诸陵，无不发掘，至乃烧取玉匣金缕，骸骨并尽，是焚如之刑”，废除了“玉匣”。至今，考古发掘也没有从魏晋以后的陵墓中发现玉衣。

自从1906年在河北邯郸郎村汉墓中发现象氏候刘安意的穿孔玉片开始，到1978年为止，相继共发现了玉及22套以上，其中比较完整的有5套。