衣冠禽兽一词，源于明代官员的服饰。明代文官官服绣禽，武将官服绘兽，品级不同，所绣的禽和兽也不同，因此，人们称文武官员为“衣冠禽兽”。该词现在常用来指道德败坏的人。

文官一品绣仙鹤，二品乡绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣鹌鹑。武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。文武官员一品至四品穿红袍，五品至七品穿青袍，八品和九品穿绿袍。所以，当时“衣冠禽兽”一语是赞语，颇有令人羡慕的味道。

到了明朝中晚期，宦官专权，政治腐败。"文死谏，武死战"的从政理念被贪官佞臣彻底颠覆。官场腐败，文官爱钱，武将怕死。文官武将欺压百姓无恶不作，声名狼藉，老百姓视其为匪盗瘟神，于是，“衣冠禽兽”一语开始有了贬义，老百姓对为非作歹、道德败坏的文武官员称其为“衣冠禽兽”。

其贬义之称，最早见于明末陈汝元所著《金莲记》一书。清代以后，“衣冠禽兽”一语遂用做贬义，泛指外表衣帽整齐，行为却如禽兽的人，比喻其道德败坏。