这一软禁，就是近30年。1949年，国民政府撤往台湾，蒋介石将张学良转至台北居所，继续软禁。直到1961年9月，张学良的生活才有了变化，“当局”准他自己出钱在台北附近的北投建一栋房子。那是一栋两层楼，位于北投路70号。新居落成时，蒋经国送了一套客房用家具，张学良自己买了一辆二手的福特汽车。他也终于可以和张家人见面了。
“我第一次见到大伯是在1967年。”张闾实回忆，“当时，我们从天津搬到香港又搬到了台湾。刚到没几天，就有两辆漂亮的外国大车停在家门口，说接我们去看大伯。大伯的房子好大，进门后有个大花园，有树林、假山、水池……屋里摆设也很豪华。突然，我听到爸爸喊了一声‘大哥！’一转头，看见一个胖胖的老人，戴个眼镜，旁边站着一位像校长的女性，就是大伯和赵一荻。”张学良原配夫人于凤至，1931年因病去美国就医，张学良在长期的幽禁生涯中得到“赵四小姐”赵一荻的陪伴。1964年应台湾政府要求，张学良主动提出与于凤至离婚，后来便与赵四小姐结婚，从此相伴。“那一天，张家只有张学森参加了婚礼，其余亲属都仍在澳门。”
后来，张闾实每年都能至少见到大伯三四次。“开始每次见面，都是赵一荻下厨，她会做好多西式菜点，像英国烤肉、蔬菜沙拉、奶油蘑菇汤，饭后还会拿水果蛋糕和冰激凌给我们吃。后来她身体不好了，便请五星级饭店的厨师来做饭。小孩子们根本不知道大伯被‘软禁’的事。但我能明显感觉到，他已经不了解社会的变化了——他对钱的贬值升值一点概念也没有，过年的红包20年都没变，一直都是200元。”
1988年蒋经国去世后，张学良的生活自由了许多，“在台北的超市及百货公司都可以遇到他，每次都有两三人陪同。但大伯明显老了，走路、行动都比以前慢。一次，我看到大伯要到二楼去上洗手间，爬楼梯非常吃力，想上前扶他，他却对我说：‘我们张家的男人是从来不需要人扶的，一定要靠自己的本事往前走。你要记住了，因为你是张家的男人。’这句话对我影响很大。”
