既然仕途这个发展道路被断送了，唐伯虎又回到了苏州，过起了他的文士生活。因为在古代不做官的文人很难在物资生活有巨大的保障，所以虽然唐伯虎一直很有名，他的字画卖的钱也仅能供他糊口之用而已。实际上他一直很穷，而穷，正是他不得已要“贷款”买房、要做“房奴”的另外一个关键的原因。
既然这么穷，为什么还要买桃花坞的别墅来住呢？
有一种说法是——为了“秋香”！
因为唐伯虎贷款买房大概是在他三十七岁的时候，而据记载，他是在三十六岁那年娶了那位对他一笑倾城、三笑倾心的“秋香”姑娘。
说起来唐伯虎与秋香的婚姻，那似乎不能用一个“娶”字，而应该要用一个“点”字，因为从古到今，我们一直津津乐道的是“唐伯虎点秋香”的故事。
事实上周星驰主演的香港电影《唐伯虎点秋香》倒还真的没夸大多少。除了武功与“小强”之外，据冯梦龙的话本小说《唐解元一笑姻缘》来看，这个“点秋香”的历程倒还真跟电影里基本相同。
说有一天唐伯虎在苏州阊门的河边作画，渐渐地就进入了艺术境界，艺术家一旦进入艺术的境界，往往就目中无人了。据说当时他虽然没有像周星星同学戏弄祝枝山那样脱光了衣服在大宣纸上“墨爬滚打”，但那份艺术气质也是让人叹为观止的。在这种情况下，只有观众瞻仰他的份，哪有他来看你的份儿？可偏偏就有一个人，一下子就闯进了唐伯虎的视线里！
说起来这位叫秋香的姑娘实在太聪明了，她只是站在河中的一条船上从这儿经过，看到岸边作画的唐伯虎的眼光扫过来，她便嫣然一笑。这一笑，明眸善睐，就像是一束穿破乌云的光芒，一下子就把唐伯虎的心从人堆里、从他的艺术痴狂里给拽了出来。