诸将率军撤回，祭遵则奉诏屯驻留乡，抵拒彭宠。他派护军傅玄袭击彭宠的将领李豪，结果大获全胜，斩首千余敌人。祭遵和彭宠对持一年多。屡次打败彭宠，挫其锋芒。彭宠同伙，有许多都投降了祭遵。建武五年(29年)，彭宠被他的苍头所杀，祭遵乘势进军，平定其地。
建武六年(30年)春，光武帝命祭遵和建威大将军耿弇、虎牙大将军盖延、汉忠将军王常、捕虏将军马武、骁骑将军刘歆、武威将军刘尚等从天水进军，讨伐公孙述，并事先诏告隗嚣。部队行至长安，光武帝也赶到了。隗嚣不愿让汉兵经陇道进军，上书设辞，说;“白水险阻，栈阁绝败，难以行走。”光武帝召集众将，议决此事。将领们都说“可且延嚣日月之期，益封其将帅，以消散之。”只有祭遵持不同意见。他说：“嚣挟奸久矣。今若按甲引时，则使其诈谋益深，而蜀警增备，固不如遂进。”(《后汉书·祭遵列传》)光武帝认为他说得对，便派他为先行。隗嚣派他的将领王元据守陇坻(今陕西陇县，甘肃清水之间)，伐木塞道，以挡汉军。祭遵鼓勇进攻，击败王元，追至新关。等到诸将到来，与隗嚣作战，纷纷失利，退兵下陇。于是，光武帝命祭遵驻汧(今陕西陇县南)，耿弇驻漆，征西大将军冯异驻栒邑，大司马吴汉等还屯长安。此役之后，祭遵又数挫隗嚣，事在冯异传。
建武八年(32年)秋，祭遵又随光武帝由陇道西上，出征隗嚣。不久，隗嚣由略阳败退，光武帝东归，经过汧县，特意到祭遵营中犒赏士卒，演奏黄门武乐，夜深才罢。当时，祭遵重病在身。光武帝特赐以重茵，覆以御盖，关切倍至。命令他进驻陇下。后来，公孙述派兵救援隗嚣，吴汉、耿弇等撒军逃回，只有祭遵留在驻地，独守冲难，没有退却。
建武九年(33年)，祭遵病死军中。
祭遵为人廉约小心，克己奉公，他得到赏赐，都分给部下，不治产业，家无余财。自己一生，穿皮裤，盖布被。夫人也裳不加缘，简朴至极。他兄长祭午见他没有儿女，便做主娶了一妾给他送去。祭遵坚决不受。他认为自己身荷国家重任，因而不敢图生虑继嗣之计。临死时，他告诉家人将自己用牛车拉回，薄葬洛阳。问他家中之事，他一句也不说，“清名闻于海内，廉白著于当世”，“任重道远，死而后己。”
祭遵竭诚奉公，尽忠为国。他一生戎马倥偬，北平渔阳，西拒陇蜀，先登坻上，深取略阳，众兵皆退，独守冲难，说得上纵横南北，屡立殊勋。他带兵有方，“制御士心，不越法度”，而且秋毫无犯，致使所在吏人，不知有军。
丧礼成，复亲祠以太牢，如宣帝临霍光故事。诏大长秋、谒者、河南尹护丧事。
