一九三五年四月六日，王家烈在黔西向蒋介石发出请辞贵州省政府主席的电报。四月九日，蒋介石发出“准”电，任命王家烈为空头的“第二路军追剿总指挥”，犹国材为“副总指挥”，四月十日，任命李仲公为“贵州临时行政特派员”，暂管贵州省政务。
王家烈回到黔西县、大方县整编部队，被蒋介石收买的何知重、柏辉章遂软磨硬逼，劝王下台。他们一方面继续煽动部下包围军部胡闹，威胁王家烈说，倘若不交出军权，就会出现哗变的局面;另一方面请王家烈到城陛庙发誓，表示王若下台，他二人将来决不负心。这时，蒋介石下命令王家烈将两师五旅十五个团的黔军缩编为两师六个团(废旅)。黔军各旅、团分驻各县，蒋不让王家烈集中部队。
王家烈再也无法“恋栈”了。四月底，他由大方县回到贵阳，当面向蒋辞去军职。王家烈悻悻然地提出：“我要求免去军职，出外考察”。蒋介石说：“辜负你了啊，在国内各地看看就行了。”第二天，蒋介石就在报上公布免去王家烈二路军追剿军总指挥及二十五军军长职务，任命他为军事参议院中将参议。
王家烈的军政大权虽已交出，但蒋介石对他仍不放心，深恐王久待贵阳，日后生变。正巧，张学良由武汉飞赴贵阳，向蒋介石汇报湘鄂川黔的“剿共”战事。蒋介石要张学良约上王家烈，搭乘他的飞机离开贵州。
一九三五年五月三日，王家烈偕同张学良飞往汉口，从此结束了他军阀的政治生涯。
