纪晓岚这些并不突出的缺陷在乾隆皇帝的眼中人为地被放大了。乾隆皇帝看惯了美的，这会儿在他眼中，纪晓岚简直太难看了！这样的人，他是不会喜欢的。除非他必须用到这个人，否则还是别在我身边的好！
因为自己相貌不太符合乾隆皇帝的要求就不被重用，造成纪晓岚在待人接物方面有些偏激、刻薄、讽刺多于幽默，他经常会想方设法、利用一切机会去挖苦、讽刺别人，来发泄他心中的郁闷和不满！用大白话说，纪晓岚这个人嘴有些损，经常是骂人不带脏字。
清朝文人牛应之《雨窗消意录》一书记载着“纪文达公昀，喜诙谐，朝士多遭侮弄”；清朝文人钱泳的《履园丛话》一书中说“献县纪相国善谐谑，人人共知”。这里的“侮弄”、“谑”不是在夸赞纪晓岚的口才。纪晓岚善于对对子。他对的对子里经常有一些挖苦讽刺同僚的话语。比如钱泳在《履园丛话》中就记载着下面一件事：
一次，京城工部衙门失火，乾隆命令大司空金简召集民工重建。朝中有一官员百无聊赖，遂根据此事自题一上联：“水部火灾，金司空大兴土木。”由于此句含有“水、火、金、土、木”五行，所以很久都没人能够对出下联。当时朝廷中有位状貌魁梧、老炫耀自己是南人北相的中书科，他也挺爱对对子，然而他左思右想，却始终得不出下联。
于是他求助纪晓岚，要纪晓岚帮忙想想。纪晓岚笑笑说：“对上此句不难，只是怕对出来有妨先生哟。”中书科急切地说：“啊，无妨无妨，只要对得上就行！”纪晓岚于是对曰：“南人北相，中书科什么东西！”纪晓岚用上了“南、北、中、东、西”五个方位，与“水、火、金、土、木”五行相对本来很合适，但放到一起就变成了一句骂人的话了。
又如一个我们都知道的笑话：有一天散朝时，一个太监想听纪晓岚讲笑话，纪晓岚假装沉思半天，说：“从前有一个太监……”说了半句就不再说了。这个太监等了半天，就问：“底下如何？”纪晓岚答道：“底下一样没有。”闻者绝倒。依我看，纪晓岚在待人接物上的偏激和刻薄，也是乾隆皇帝不喜欢他的一个原因。
