进入黄埔后，在国共合作的大背景下，徐向前、陈赓、左权等共产党高级将领都曾是黄维的同学。但黄维加入国民党后对蒋介石忠心耿耿，也没与共产党人擦出火花，实属遗憾。1949年1月10日淮海战役，黄维被围双堆集眼看死到临头，解放军中原野战军司令员刘伯承和华东野战军司令员陈毅曾多次劝降黄维，但黄维还是顽固不化，坚决抵抗。
黄维被俘后，先后在北京功德林监狱和抚顺战犯管理所接受改造。在长达27年的改造过程中，黄维还是未能受中共感化。当时。所有国民党战犯在学习毛泽东的《论持久战》后，都会写读书笔记并结合自己的罪行当众作思想报告。杜聿明就曾写了万余字的读书笔记并作了2个多小时的报告。而黄维不但不写笔记，别人作报告时他也一言不发。一次，黄维的妻子来探监并给黄维做了很丰盛的饭菜，用餐中妻子劝他和中共合作，争取早日特赦。
结果，黄维直接把筷子摔在桌子上，并大声斥责夫人：“从现在起不吃你做的饭，你也别来看我!”但是，共产党和政府还是予以最大的宽容对待黄维，黄维初到功德林监狱时身患五种结核，经中共医护人员四年的精心治疗护理根治了他的病症，日常生活中他也受到了优待。后来，黄维以研究“永动机”为名拒绝思想改造，但中共还是尽力满足他的要求，周恩来总理还亲自审阅了他的设计图。1975年3月，黄维作为最后一批国民党战犯被特赦，后被中共任命为全国政协委员，在政协文史资料研究会工作。
暮年的黄维曾回到江西老家，当站在方志敏烈士墓前时，黄维沉默了，深为自己未能像方志敏一样报国为民而流下了悔恨的热泪。叹曰：“廉颇老矣，尚能饭否?”黄维一直困惑：“国军人数装备俱优于解放军，为何还会如此惨败?”殊不知，共产党爱民如子，与人民情同鱼水。国民党纵有雄兵百万，但面对亿万民众，犹如石牛人海，岂可奈何?正应了“水可载舟，亦能覆舟，得民心者得天下!”这句古语。
