采蘅子的《虫鸣漫录》卷二说：“纪文达公自言乃野怪转身，以肉为饭，无粒米入口，日御数女。五鼓如朝一次，归寓一次，午间一次，薄暮一次，临卧一次。为每日不可缺者。此外，乘兴而幸者，亦往往而有。”
昭鎗在《啸亭杂录》卷十中也说：“(公)今年已八十，犹好色不衰，日食肉数十斤，终日不啖一谷，真奇人也。”
孙静庵《栖霞阁野乘》一书讲述了一个关于纪晓岚好色的精彩故事：“河间纪文达公，为一代巨儒。幼时能于夜中见物，盖其禀赋有独绝常人者。一日不御女，则肤欲裂，筋欲抽。尝以编辑《四库全书》，值宿内庭，数日未御女，两睛暴赤，颧红如火。纯庙偶见之，大惊，询问何疾，公以实对。上大笑，遂命宫女二名伴宿。编辑既竟，返宅休沐，上即以二宫女赐之。文达欣然，辄以此夸人，谓为‘奉旨纳妾’云。”
堂堂的一代文宗，竟然好色到了近似于“色情狂”的病态程度，甚至在堂堂的乾隆皇帝面前也丝毫不加掩饰，这一现象到底是一种单纯的生理现象，还是一种复杂的精神现象?抑或是两者兼而有之?似有进一步解析的必要。
在这个问题上，我以为前人的野史笔记都将其归之于一种单纯的生理现象，说他是“奇人”，具有这个方面的特异功能，云云，都是一些被表面现象所蒙蔽了的“只见树木，不见森林”的泛泛之谈。我个人倾向于认为，作为一位才情冠绝一时的大知识分子，纪晓岚的“好肉”与“好色”，不只是一种纯粹的个人生理现象，而是一种特殊的精神现象。因此，必须到纪晓岚精神世界的深处寻找原因，才能够切中肯綮，找到这种现象的最合理的解释。
