但陶渊明除了不会当官，还不会理财，辞职回家后没有了工资（五斗米），一大家子要吃要喝，日常开销很大，生活上便逐渐困难起来。面对这种家境，死要面子的陶渊明，与在官场时一样，选择了逃避现实的办法，带着一家老小，离开了祖辈置下的“富人区”，到熟人看不见的庐山脚下，过起了简单的日子，即所谓“归隐”。其《归园田居·种豆南山下》是这样写的：“种豆南山下，草盛豆苗稀。晨兴理荒秽，带月荷锄归。道狭草木长，夕露沾我衣。衣沾不足惜，但使愿无违。”
归隐之初，陶渊明尚有“方宅十余亩，草屋八九间”，其时其心态还算轻松，诗中也写出了一份怡然自得和浪漫。可遗憾的是，这处“世外桃源”在他归隐后的第三年，即义熙四年（公元408年），一把大火将其房子烧毁了。
陶渊明可怜得连个睡觉的地方都没有，一家人只能寄住在一条破船上，度过初秋。试想，在这种情况下，陶渊明还能有经济实力到“城里”买房子？在这种情况下，他不得不又将家搬迁至“世外桃源”中的另一地方“南村”。
至此，陶渊明真的与世隔绝，活在精神世界中的世外桃源，借酒抒情，寄托信念：“结庐在人境，而无车马喧。问君何能尔，心远地自偏。采菊东篱下，悠然见南山。山气日夕佳，飞鸟相与还。此中有真意，欲辨已忘言。”
看来，陶渊明最后选择从官场辞职、“不为五斗米折腰”，便注定他只能去“没人的地方”生活。其所谓的“清风高节”形象，不过是我们后人的拔高和想象。
