但540年这个和平就被打破了。按普罗科匹厄斯的说法科斯洛埃斯一世害怕罗马帝国重新壮大后就更有力量了，波斯会抵挡不住，此外东哥特人愿意与波斯同盟，以及波斯最大的后方敌人厌哒瓦解，使得波斯少了一个后顾之忧。这场战争的直接原因是双方对科尔喀斯地区的争夺。它一直延续到561年/562年，中间有一次不包括科尔喀斯地区的停火。拜占庭在这段时间里不得不在两个战场上同时作战：向东对波斯，在意大利对东哥特人，同时在巴尔干半岛上它受到阿瓦尔人和斯拉夫人的威胁。对拜占庭来说最大的败绩是波斯占领、劫掠和摧毁了叙利亚的安条克。科斯洛埃斯一世抢劫了许多财富和俘虏了许多人。拜占庭的正式军队实际上相当小(据阿加塞阿斯的报道仅15万人)，因此这个两面战争对拜占庭来说是非常危险的。560年波斯受到突厥人的威胁，因此愿意与拜占庭停火。查士丁尼一世得以保持科尔喀斯地区，最后一次维护了拜占庭的疆域，但他不得不向波斯每年进贡。汪达人是哥特人的一支，他们经过长期迁徙后在非洲北部基本上相当于今天的突尼斯的地区建立了一个附属罗马帝国的王国。当时汪达人的国王希德里希信奉基督教的亚流主义，但他并不反对拜占庭的天主教，他被推翻后葛利麦当了国王，查士丁尼一世要求恢复希德里希的王位但被拒绝，因此他决定对汪达人进行一次惩罚性进攻。后来因为一开始的进攻非常容易得逞这场战争才演变为一场征服战。
贝利萨留于533年带领着一支仅一万五千人的部队进入汪达王国，同年9月15日他就占领了迦太基。葛利麦被俘。汪达人没有想到拜占庭真的会出击，因此他们许多军队当时正在萨丁岛镇压当地的一次暴动。贝利萨留压着葛利麦凯旋回到君士坦丁堡。此后拜占庭在北非还经常与柏柏尔人作战，当地的驻军也有过几次叛变，但总地来说一直到698年北非属于拜占庭。在意大利对付东哥特人的战事比预先想象的要困难。拜占庭与东哥德人作战的原因是狄奥多利克之死和此后哥德人内部的继承人的斗争。狄奥多利克的女儿阿玛拉逊莎比较亲拜占庭，而狄奥多利克的侄子西奥达则打他自己的主意。阿玛拉逊莎年轻的儿子死后西奥达登上了王位。535年两人之间的不和演化为战争。拜占庭首先进攻达尔马希亚，但没有成功。贝利萨留则率军在西西里岛登陆，他很快就占领了那不勒斯。西奥达大败，维提格斯取代了西奥达。维提格斯比较成功地抵抗了贝利萨留，但536年贝利萨留占领罗马。维提格斯未能重新占领罗马。双方之间激烈的战斗对意大利带来了巨大的摧残。538年拜占庭军队占领米兰，但东哥特人经过残酷的战斗又把拜占庭人驱逐出了米兰。不停的战斗还带来了饥荒。
540年5月贝利萨留攻克拉韦纳。东哥特贵族表示假如贝利萨留愿意接受西罗马帝国皇帝的位置的话他们就停止抵抗，贝利萨留表示同意。维提格斯被俘，542年他逝世。不清楚的是贝利萨留是不是假意同意领西罗马帝位的，但这很可能。虽然如此查士丁尼一世早就对贝利萨留持疑心了，这样就更加重了查士丁尼一世的疑心。
由于重税的压迫很快在意大利就有爆发了起义。542年多迪拉在帕维亚被推举为新的哥特王。多迪拉是一个非常聪明的战略家，他使用宣传战和建立了一支舰队。544年贝利萨留再次获得意大利战场的指挥权，但由于查士丁尼一世对贝利萨留不信任，他只给了贝利萨留一支很小的军队。这场所谓的第二次哥特人战争从541年/542年一直持续到552年，它比第一次战争更残酷。546年底多迪拉占领罗马，但他无法防守罗马。整个意大利陷入战火之中，双方都使用非常残暴的手段。549年贝利萨留受多项指控后被召回君士坦丁堡，他的竞争者纳西斯被指令为意大利指挥官。550年多迪拉再次占领罗马，但又无法防守该城。这场战争完全摧毁了罗马富有的元老院贵族。到6世纪末这个阶层就完全从历史纪录中消失了。
