以后，咸丰帝在这数十名年轻貌美的汉女中挑选出更为佳丽动人的，加以位号，这就是人们所说的“四春”。“文宗渔色，于圆明园隅，暗藏春色，谓之四春，世竞传之”。这“四春”是牡丹春，海棠春，杏花春，陀罗春。她们都是良家女子，是被迫入宫的。《清稗类钞》对“四春”的称呼不同：“园中侍有五春之宠，所谓天地一家春者，乃孝钦后(慈禧)所居。其杏花春、武陵春、海棠春、牡丹春，皆汉女分居之。”除四春之外，咸丰帝还钟情于一位曹寡妇。这位山西孀妇，长得美妙绝伦，特别是一双小脚，不到三寸。她的鞋也与众不同，鞋底是菜玉做的，内衬香屑，鞋尖缀着光彩夺目的明珠。入宫后，“咸丰帝最眷之”。
咸丰帝因近女色，不得不借助于秘药。《十叶野闻》记下了一个故事：
咸丰中，贵阳丁文诚翰林，一日上疏言军事，上大嘉赏，特命召见。上方驻跸圆明园。文诚于黎明诣朝房，候叫起。时六月初旬，天气甚热，丁方御葛衫袍褂，独坐小屋内。忽顾见室隅一小几，几上置玻璃盘一，中贮马乳蒲桃十数颗，极肥硕，异于常种，翠色如新撷者。私讶六月初旬，外间蒲桃结实，才如豆耳，安得有此鲜熟者。方渴甚，遂试取一枚食之，觉甘香迥异常品，因复食二三枚。俄顷，腹中有异征，觉热如炽炭，阳道忽暴长，俄至尺许，坚不可屈，乃大惊。顾上已升殿，第一起入见己良久，次即及己，无如何，则仆地抱腹宛转号痛。内侍不得己，即令人掖以出，然尚不敢起立，亦不敢仰卧。其从者以板至，侧身睡其上，舁归海淀一友人家中。友，故内务府司官，习知宫内事，询所苦。文诚命屏左右，私语以故。友曰：“此媚药之最烈者。禁中蓄媚药数十种，以此为第一，即阉人服之，亦可骤生人道。与妇人交，药力弛则复其初。此必内监窃出，未及藏庋，而君误食之尔，然亦殆矣。”急延医诊视，困卧十余日始起。
这位文质彬彬的翰林总算机智，装病脱险，没有露丑。但这媚药是咸丰帝所用则是无疑的。
咸丰帝常近女色，毫无节制，身体愈来愈差。问御医如何才能使身体强壮起来，御医对症治疗，建议他饮鹿血，借以补阳。咸丰帝立命养鹿一百余只，每天都喝鹿血。北逃热河时，他还想带着这些鹿走，只是由于兵荒马乱，未能如愿。
咸丰帝还是个酒徒。但一饮即醉，一醉便耍酒风。“文宗嗜饮，每醉必盛怒。每怒必有一二内侍或宫女遭殃，其甚则虽所宠爱者，亦遭戮辱。幸免于死，及醒而悔，必宠爱有加，多所赏赐，以偿其苦痛。然未几而醉，则故态复萌矣”。大概他心中苦闷，借酒浇愁，拿人泄愤吧！
他有些艺术细胞，爱看戏，有时亲当导演，甚至粉墨登场。无论在紫禁城，在圆明园，还是在热河行宫，他都经常点戏看。他亲自指导太监演戏，教过《教子》《八扯》等戏，并学习演唱过《朱仙镇》、《青石山》、《三岔口》、《平安如意》、《四盟山》、《问路》、《羊肚汤》等戏。他当皇帝真不如当个演员更合适。
