“人妖”一词最早见于战国时期著名思想家荀况所著的《荀子·天论》一书：“政令不明，举错不时，本事不理，夫是之谓人袄(妖)。”可见“人妖”一词的原意是指人事上的反常现象。后来人们才将那些女扮男妆、男扮女妆，生理和心里上都发生了严重变态的人叫做“人妖”或者“妖人”。
女扮男妆的“人妖”见于《南史·崔慧景传》。
南朝齐朝时，东阳(今安徽天长西北)女子娄逞聪慧过人，才华出众。她不甘心一辈子围着锅台转，遂“变服诈为丈夫”，走出家门，遍游公卿。由于她知识渊博，精通围棋，为人圆滑，有极高的处事能力，颇受公卿们的欢迎，官至扬州“议曹从事”。
然而，俗话说得好，纸里包不住火。时间久了，娄逞的女儿身终于被人发现。齐明帝萧鸾知道后下令罢免了娄逞的官职，让她返回老家东阳，娄逞这才极不情愿地被迫“始作妇人服而去”。《南史》的作者认为娄逞“此人妖也”，而娄逞则认为为自己满腹经纶，就这样“还为老妪，岂不惜哉。”
男扮女妆的人妖在历史上也屡见不鲜，如《明史》记载，明朝嘉靖年间有个女扮男妆、名叫桑羽中的“妖人”。而男扮女妆的人妖中最典型的当属清朝的洪某。
据清朝乾隆进士、著名诗人袁枚的《新齐谐》记载，清朝乾隆年间，贵州贵阳有一个姓洪的美男子，5岁时因父母双亡，被邻居一姓付的寡妇收养。付寡妇见洪某长相非常漂亮，是个难得的美少年，心中顿生邪念。为了掩人耳目，她对外谎称洪某是个“女孩儿”。为此，她刻意将洪某打扮成女孩儿的模样，给洪某留下又黑又长的辫子，并给他缠足，教他学会了刺绣、做针线活等女孩儿必须掌握的基本技能。
