不久，李善长辞去丞相位，朱元璋想让杨宪接任，与刘伯温商量。刘伯温与杨宪私交很好，但不赞成。他对朱元璋说：杨宪有当丞相的才能，但无当丞相的器量，当丞相要持心如水，不能有私心，杨宪不是这样的人。
朱元璋问汪广洋如何，刘伯温说也不行，他比杨宪更狭隘小器。又问胡惟庸，刘伯温答：更不行，做丞相好比驾车，胡惟庸非但驾不好，恐怕连辕木都会被他毁掉。
朱元璋就说看样子只好请你出来了。刘伯温连忙说，不行，不行!我这个人疾恶太甚，又不能胜任繁杂的事务，当了会辜负您的期望和重托的，天下哪会没有贤才呢，您只要悉心召求就可以发现了。
但朱元璋既未悉心求才，又偏偏先后选用了杨、汪、胡三人为相，结果个个都出了问题。尤其胡惟庸因谋反而被定罪，这时候刘伯温已经过世好几年了。明太祖朱元璋追忆刘伯温生前所言，不禁懊悔莫及。
刘伯温的运筹帷幄、神机妙算使全军将士钦佩不已，加上他强智博学，才思敏捷，除传统的经史诗文外，军事韬略、兵法智术、天文地理，尤其对在民间本来就很神秘的天象和占卜都十分精通。在老百姓的意识里，这样的人也许本来就是神仙下凡。其实所有的预言来源于他对全国战略形势的谙熟于胸，对人性的高超洞察，是发现事物变化苗头后另一种方式的表达。所有这些经过文学作品和民间传说的渲染，逐渐变得神奇莫测，成为老百姓心目中的神仙，在关键时刻出现，辅助正义力量，穹庐空间护佑生灵。
假若刘伯温真的如传说这般神奇，那么他应该官场得意，家运绵长阿，可他为什么最后却连自己也不能保全呢?可不可以说是对“性格决定命运”这个命题的悲剧性诠释呢?
上贪下暴是元朝导致最终灭亡的重要原因，朱元璋体会深刻。因此建国后他让刚直不阿、疾恶如仇的刘伯温来领导当时的监察工作，主抓官员违法乱纪、贪赃枉法之事。然而就是这个工作，给他的政治生涯的及早终结埋下伏笔。
刘伯温主抓的案件里涉及到当时中书省官员李彬，李彬罪行严重，按律当斩。可此人偏偏是李善长的亲信，李善长是谁?朝中位列第一的左丞相，可谓居于一人之下，千万人之上。他多次找刘伯温说情。可是刘伯温不讲情面，秉公执法，将李彬处死，在朝野引起了震动。连朱元璋也赞扬他说满朝都是党，只有他一个人不从。
刘伯温深深意识到自己直言激愤，为整肃纲纪得罪了许多人，甚至连朱元璋也冒犯过。
明朝初期，有一日，众臣早朝，文武百官早早都到了。因为今天要决定一件大事，讨论新的王朝建都之地。
朱元璋淡淡的问大家，考虑的怎么样了。
有的大臣说，关中乃天府之地，地理位置险要，应建都在关中。
有的大臣说，金陵长江天堑，龙蟠虎踞，又是江南之地足以立国。
一时间众说纷纭。
朱元璋微微笑道：“大家所言皆有道理，只是说法不同而已，临濠前面也有长江，后有淮水。有险可守，水陆可漕运，可定为都城。”
一听朱元璋想往家乡建都，大家都交口称赞迎合皇上。圣上十分高兴。
但就在此时，刘伯温却说：“临濠虽然是帝王之乡，但却不是帝王之都。”
被这个不识相的家伙击中心事，皇帝十分尴尬，面带不悦。
这些事，总体上都影响了他后来的命运。
中国历史上开国功臣遭杀戮的例子，刘伯温对此深谙于胸，为能终老一生，多次请求告老还乡，事实上刘伯温这个朴素的愿望都没能实现。
洪武六年，胡惟庸出任丞相，诬陷刘伯温在家乡占了一块有王气之地，准备做自己的墓地。作为皇帝的朱元璋最忌讳的就是有人篡位，尤其忌惮刘伯温这样本来就很奇异才能的人。于是趁机革掉了刘伯温的俸禄，准备严加查办。
刘伯温为避杀头灭门之祸，带着儿子刘琏急忙赶往京师谢罪。之后刘伯温怕再受诬陷，索性就留在南京。不想在京积忧成疾。
有人说，刘伯温的死是因为当年讨论丞相人选时未能举荐胡惟慵，最后被他毒死的，有人说是因遭猜忌皇帝授予叫这么干的。
“从臣才俊俱扬马，白首无能愧老身”，带着诸多遗憾，他写下了一生的最后一首诗。
洪武八年，公元1375年四月，一个莺飞草长、万物复苏的日子。一代奇才却黯然离去，他六十五年的传奇人生就要谢幕了。
然而关于他的传说却始终没有停止，今天，人们对他的某些怀念，是不是已经寄托在有关他的神话传说中呢?
