与此同时，太祖废除了殿前都点检和侍卫亲军马步军都指挥司。禁军分别由殿前都指挥司、侍卫马军都指挥司和侍卫步军都指挥司，即所谓“三衙”统领。另选一些资历较浅、威望不高、容易控制的人担任禁军将领，分别掌管三衙。这三衙又互不统属，互相牵制，这样，军权就牢牢掌握在皇帝手里了。
后来，太祖还果真兑现了互联姻亲的诺言，把守寡的妹妹嫁给高怀德，把自己的两个女儿分别嫁给石守信和王审琦的儿子，还让三弟光美做了张令铎的乘龙快婿。君臣无猜，共保富贵，这就是历史上著名的“杯酒释兵权”。
比起汉高祖、明太祖等置功臣于死地，而且斩尽杀绝的做法，宋太祖的“杯酒释兵权”实在是文明得多!
上述故事主要取自司马光的《涑水记闻》，后来李焘的《续资治通鉴长编》也作了详细记载，再后来，几乎所有相关的历史书籍都一遍又一遍地重复这个故事，很少有人提出怀疑。
最早的记载
现存“杯酒释兵权”的最早记载，是北宋真宗时的宰相丁谓所写的《丁晋公谈录》和北宋仁宗时宰相王曾的《王文正公笔录》。
丁谓的《谈录》记述了赵匡胤与赵普的一段对话。宰相赵普对太祖赵匡胤说：“禁军统帅石守信、王审琦兵权太重，不能再让他们领兵了。”赵匡胤听后不以为然，说道：“石、王这两位老将是我多年的老朋友，难道还怕他们造反吗?”赵普说道：“石、王这两位老将肯定不会造反。但他们缺乏统帅才能，日后肯定制伏不了部下。如果其属下将官要造反的话，他们也会身不由己的。”太祖仍然表示怀疑地说：“这二人受国家如此重用和恩惠，难道会有负于我?”赵普从容答道：“只怕就如陛下，怎么也负于周世宗了呢?”太祖顿时大悟，就听从了赵普的提议，罢了两人的兵权。
这段记载说明，太祖是在被赵普说服后，才开始按照赵普的建议着手进行解除兵权的。其中并没有戏剧性的“杯酒释兵权”故事发生。
