当然，彭德怀是不能离开吴家花园的。于是便在吴家花园开荒种地，竭力劳动。他真诚地希望，通过劳动一来了解农业情况，二来减轻国家负担。此外，为了与人民共度时艰，他觉得自己应该做的，就是艰苦朴素，厉行节约。他对侄女说：“为了减轻国家负担，我别无办法，节约还是可以做到的。”特供猪肉他买得很少，供应的好大米、面粉经常让给别人吃。自己种的萝卜、白菜和红薯丰收了，他就算给家属听，一厘地萝卜收多少斤，一分地白菜能收多少，三分地红薯能顶多少粮食，这一切能给国家节省多少开支……在吴家花园生活的日子里，他的心情自然是压抑的。然而他对民间疾苦更加拳拳在心。他曾向侄女提及，庐山会议时，遇到一位服务员正在为家庭生活困难而哭泣。当时他就表示，要每月资助这个服务员20 元钱。但未曾料想几天之内自己被打成“反党分子”，不能履行诺言了。“那样又要说我收买人心啦，肯定会连累他。不知他如今情况怎样?”言下之意不胜牵挂。侄女忍不住说了他一句：““全国困难的人多啦，你管得了那么多吗?再说你现在又是这种情况。”
彭德怀没有理会侄女的话，还是叹息不已，过了一会才说：“只要力所能及，我还是应当办的。”
“老百姓穷得连裤子都没的穿了，你却住大瓦房!”
彭德怀在1965 年被秘密任命为西南三线建设委员会第三副主任之后，奔赴三线建设重镇攀枝花，在那里工作和生活了数百个日日夜夜。其中发生了彭德怀在体察三线地区老百姓生活时的一个插曲，展现了他对民生的殷切关注和共产党员的一身正气。
一天，彭德怀在渡口(今攀枝花市)特区钢铁基地总指挥部同志的陪同下，驱车来到仁和镇视察民情。他夹在赶场的人群里，东瞧瞧西看看，不断地问着各种东西的价钱，在这条极不起眼的乡村小街上，一逛就是一个多小时。特区陪同的同志怕他累了，就找了一个熟悉的地方，让他进去休息。
这是当地一位公社干部的家，就建在这条小街上。房子是用当时稀少的钢筋水泥和红砖垒成的，屋上的瓦也不是当地的小青瓦或油毛毡，而是建三线工厂的那种大块的新式红瓦。两个房间分左右而建，中间是一间堂屋，收拾得很干净。彭德怀一行进去后，就安排在堂屋坐下来休息。房主穿着深色的中山装，身体有点发福。女主人穿着流行得体。喝过主人招待的热茶，彭德怀就起身在屋子里转一转，连说不错不错，乡亲们的生活水平现在是提高了。特区陪同的同志说：“全靠搞大三线建设，才把这里的生产、生活都带动起来了。这里由于交通不便，老乡过去穷得很，一家几口人就一条裤子，谁出门谁穿。”彭德怀问那位公社干部：“你们公社里像你这样的人家有多少?”公社干部答：“自打三线建设以来，这大山里变化太大了，像我这样的人家，现在恐怕也不少了吧。”又问：“我问的不是你们这些公家的干部，而是你们这里的老百姓。”答：“那也是有不少的变化吧。”再问：“我说同志，我要问你，他们是怎么个变法，是变好了呢，还是变得更坏了?”笑答：“你这位首长也真是，当然是变好了哟，哪有变坏的。”彭德怀听后高兴地说：“这就好了，我们三线建设的工厂，都摆在寸草不生的山坡上，不与农民争土地，同时又给农村带来了电，带来了方便的交通，经济也流通起来，农民山货也卖得出钱来了，农民自然拥护我们。”