当时解放军之炮火猛烈，让在金门海域的美国海军都目瞪口呆。第二天早上，惊魂未定的美国海军通信联络金门，问：“金门还有没有活人?”胡琏回电就一个字：“有。”胡琏只是受了点皮外伤，身处水上餐厅的3位中将副司令就没那么幸运了——副司令赵家骧冲上连接水上餐厅与陆地的小桥，腰部被纷飞的弹片击中，不治而亡;另一名副司令官吉星文身中弹片重创，急送医院手术后，弹片被逐一取出，接着又调来一排兵献了3000毫升的血，伤情才稍加稳定，不料腹中残留一极微小的弹片3天后引发腹膜炎而亡;第三位副司令章杰则是当场毙命。炮击过后，胡琏清点人员时唯独不见章杰，至次日清晨，有人在水上餐厅附近发现了章杰若干残碎遗物，经其传令兵辨认，确认章杰死亡。
败走天涯笔墨云烟
金门炮击，胡琏的得力助手赵家骧命殒孤岛，胡琏心灰意冷，无意再任金门防卫司令部司令。越南战争期间，台湾当局秘密派出军事顾问团，协助南越建立“政战”制度，代训干部，并提供作战物资。为助南越军和美军作战，1964年，胡琏被任命为“驻南越大使馆大使”(台湾以此掩盖军援南越的事实)。胡琏在南越8年，为南越政权反共、剿共出谋划策，可谓不遗余力。也因为这个原因，胡琏成了越共游击队的暗杀对象。
虽然胡琏生性多疑，机警小心，但越共游击队还是侦知了胡琏的生活起居规律。1967年5月19日，两名游击队员经过乔装打扮，混入“中华民国驻越南大使馆”，并在胡琏的办公室里神不知鬼不觉安装了定时炸弹。胡琏每天上午都会在办公室里办公，但说来也巧，这天10点半胡琏刚好有个会。他从办公室拿好文件走到隔壁的会议室还不足一分钟，办公室便传来一声巨响，后墙被炸了一个大洞。胡琏完好无损又神奇地逃过一劫。后来胡琏每忆及此事，都心有余悸，唏嘘不已。
胡琏在南越8年，1972年因病被免职回到台北疗养，任“总统府”战略顾问，并晋升为一级陆军上将。胡琏戎马一生，血雨腥风，福大命大，屡次死里逃生，晚年回归平静，爱好文学和历史，潜心苦读古籍，研修历史。胡琏认为，从某种意义上说，人类史实为战争史，“史中自有练兵治军之道”。胡琏的“多识”，获益于“勤学”。他自己说：我这辈子就干了两件事，打仗和读书。胡琏读书兼收并蓄，涉猎宽泛，但又爱好专一，以史为主，注重“以史为鉴，匡正谬弊，归本人心”。他以68岁的高龄，本着“学然后知不足”，在台大注册，进入台大历史研究所，专门选修了宋史和现代史。胡琏对宋史怀有强烈的兴趣，在台大3年间除了因病住院请假的时间，竟然从未缺过一次课。
胡琏晚年还撰写了回忆录，如《古宁头作战经过》、《泛述古宁头之战》、《金门忆旧》和《越南见闻》等书，回忆了他刻骨铭心的经历，又有了“儒将”之谓。临近毕业，他选定的博士论文题目是《宋太祖的雄略之面面观与今昔观》，大纲已初步拟好，并准备写5万字，却因心肌梗塞于1977年6月22日猝然去世。这位黄埔悍将枪林弹雨，一次次化险为夷，一次次死里逃生，却最终没有逃脱病魔。
根据其生前所立“予尸化灰，海葬大小金门间，魂依莒光楼”的遗言，胡琏骨灰由台北空运金门，灵葬于金门水头湾海面。一年后，一座纪念他的“伯玉亭”(胡琏字伯玉)倚岸兀起，金门又多了一处“革命圣迹”，以后新入岛的国民党官兵第一件事就是瞻仰“伯玉亭”。
