衣姓的起源主要有以下几种说法：

黄帝后代：

黄帝共有二十五个儿子，其中十四人被分封得姓。这十四人共得到十二个姓，其中就包括衣姓。

殷姓分支：

春秋时，齐人方言中，殷音如衣，因此衣姓可能是殷姓之后。

官阶赐姓：

先世相传为尚衣局官，故因衣赐姓。

其他来源：

另外，衣姓也可能出自其他姓氏的分化，但具体来源不详。

综合以上信息，衣姓主要起源于黄帝的后代，并且与殷姓有密切关系，可能因为方言的发音相近而从殷姓中分化出来。衣姓的先祖中，有尚衣局官，因此也有可能是因官职而赐姓。