永福堂是个小四合院，又窄又旧，前面归另一家居住，东、西两厢除了正上中学而和彭德怀一块儿住的侄女住一小间外，其他的都是公用。所以他的住处拥挤不堪，他的一间屋子是办公、会客两用;饭厅中间摆了一张桌子，围坐着吃饭时，四周就不能走动了。其他侄儿侄女们来了后没地方住，只好搭地铺睡。那时北京住房还不像现在这样紧，管房子的部门看到彭德怀的情况，就在什刹海附近另找了一个大院子的住处，房子两层楼，比较宽敞。秘书说：“这院子适合办公，离浦安修同志上班的北师大也近些。”彭德怀看了院子却不说话了。侄女问他：“搬不搬?”彭德怀反问了一句：“你想搬呀?”侄女回答：“当然啦，永福堂那个地方多挤呀。特别是我房后那个卫生间，大家共用，我是女孩子，多不方便。”
彭德怀听后，毫不犹豫地说：“不搬了。这里房子多，应当给家口多的同志住。咱们家没有多少人，不用住这么宽。再说，住在中南海里面，门口有个站岗的就够了。搬到这里，又要搞个警卫班，那不是增加国家负担吗?”当时，彭德怀担任中央政治局委员、国务院副总理兼国防部长，主持军委日常工作，可谓名高位重。可是他从来没有利用职权牟取过任何私利，从来不允许家属利用他的名位与职权搞丝毫特殊化，他的心里始终装着的是国家和人民的利益，做到公私分明。
彭德怀的侄女上学后一直享受供给制待遇，1954 年，国家和军队干部实行薪金制，干部子女上学改由家庭负担。由于她是烈士的女儿，学校按规定继续供给，并为此写了信让她带回家。侄女十分高兴，一回家就把信交给伯伯彭德怀说：“今后还是国家供我上学。”谁知彭德怀一听就说：“不，你上学我应该管。”说着拿起铅笔就在信头写道：“不要国家供给，由我负担。”
随即，彭德怀叫侄女把签署了他的意见的信交给学校。从此，他用自己的薪金供侄女上学，一直到她上大学。
“丢了全国总人口80%的农民，就丢了为人民服务的根本。”
1958 年和1961 年，彭德怀曾两次回到湖南，在湘潭、平江等地进行调查研究。他全心全意关心群众疾苦、情系民情的一言一行，给当地农民及党员干部留下深深的印象。
1958 年12 月，彭德怀第一次回到湖南湘潭家乡调查。在省委书记周小舟陪同下先后到乌石、韶山、平江等地深入调研。在参观平江县工农业生产展览馆时，他吃惊地发现有两个数字竟然是颠倒着公布的：把收成最好的1957年的粮食高产数字，公布为1958 年的产量;而把1958 年较低的数字，说成是1957 年的产量。彭德怀后来忆及此事还感叹地说：“如此造假，真令人害怕!”在全省一处接一处马不停蹄地调研期间，他白天走访，晚上座谈，亲眼看到了农村的现状，取得了第一手材料。他深感小高炉炼铁代价太大，不是发展方向。在敬老院里看到老人吃瓜菜，冬天睡篾席，盖破被，他忍不住说：“这是什么幸福院，有名无实!”那里的学校规定学生必须住校，但学生的口粮不够吃。他对陪同的省委负责人说：“学生的口粮少，生活差，还是放到家里由父母照顾好一些，不然，这样下去，会把小孩子的身体都弄坏的。”