后来卢家搬到了红岩村四号。这是一幢一楼一底的砖木结构楼房，一共住了四家。卢家住在楼上朝东的一面，两间大一点的屋子，一间中等大的，一间小屋，没有专门的客厅和饭厅，四间屋子加起来的总面积不过40多平方米。
四十年代，一位美国作家曾这样写道：在他(指卢作孚)的新船的头等舱里，他不惜从谢菲尔德进口刀叉餐具，从柏林进口瓷器，从布拉格进口玻璃器皿。然而据卢国纪回忆，全家陈设得最“阔绰”的父母亲住的那间朝南的大屋，里面有一张大床，一张旧写字台，一个简易的敞式书架和两把藤椅。床上铺的是普通的布毯(夏天铺竹席)，廉价的花布被面，粗布被单。
餐具是粗瓷碗和江安出产的竹筷子。全家没有一件沙发之类的高档家具，甚至连方凳都没有多余的。如果全家人都回来齐了，或者是来了亲戚朋友，他们都得到楼下那间公用的屋子里，全都站着吃饭。对此卢先生丝毫不感到面子上有什么过不去，反而会吃得津津有味，其乐无穷。因为卢作孚从二三十年代创办民生公司开始，就一直坚持和职工们一起吃饭，早已把站着吃饭变成了习惯。
卢先生不仅对自己要求生活节俭，而且对家人也非常严格。卢作孚还明确规定，就是自己的亲属，包括子女和妻子坐民生公司的轮船，都必须一视同仁买票，不会享受半点特殊。那时卢作孚兼职很多，所在单位都会给一笔“舆马费”作为酬劳，这“舆马费”就是交通费的意思。对这笔为数可观的钱，卢作孚却全部捐赠给了北碚文化基金会。
有人曾问卢作孚为何如此简朴？卢作孚的回答很简单，他说：“第一是要造成节约的风气，第二是要表现事业的精神。”(石廷荣)
