杨森结束官场生涯后，不愿居住在台北市，在台北县新店镇稻子园买了一座山，修建起别墅，在此度晚年。他喜好古玩、字画，收存各式武器。同时他还爱好写诗，有收藏手杖的癖好。
1972年2月20日，杨森九十大寿，蒋介石派人在「国防部」三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋，尤其是听说许多人称他是传奇式人物，他更为高兴。他说：“我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生而服务。”蒋介石亲书“贞固康强”的寿轴，杨森把它挂于寿堂正中央，以示炫耀。参加祝寿的除了高级军政人员外，还有“宗亲会”、“同乡会”的各色人物，及杨森在美国的女儿等亲友，来宾达三四千人之多。杨森身着棕色条花西服，胸佩一朵大红花，坐在寿堂正中，神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余，厚1尺余的大蛋糕，杨森煞有介事地举起日本式战刀，切开蛋糕分送来宾。
就在生日会上，另一四川同乡，国民党元老张群前来拜访他，杨森叹息道：“我这个人就是喜欢和年青人在一起，这样才有朝气。”张群知他又想“一树梨花压海棠”的心思，便笑道：“那你再讨(娶)一个吗。”
就这样，17岁的初中生张灵凤被杨森以招募“秘书”为名，娶进府中，成了杨府第“十二钗”。
结婚后，国民党元老于右任送来一副狂草，“海誓鱼龙舞，山盟草木知”，90岁的老人娶了17岁的小姑娘，能说是海誓山盟吗?不到一年，张灵凤居然又为杨森生下最后一女，一时传为海内外的奇谈。
1977年3月，杨森从菲律宾访问归来，被台北三军总医院检查为肺癌，两个月后，96岁的杨森咽下最后一口气，结束了漫长的一生。