桓温虽然攻占了邺城，但是因为前燕皇帝还在，政权的组织架构也十分的健全，所以前燕政权并没有崩溃。

因此在桓温占领了邺城之后，深知前燕势力并没有遭受毁灭性打击的他并没有做过多的停留，而是继续指挥大军北上，继续围剿前燕残余政权。

得益于邺城陷落对前燕政权的打击很大，因此其他几路大军向北继续推进的过程也越发的顺利，其中代表青州出征的宁远将军桓石虔在渤海郡击败渤海王慕容亮，迫使慕容亮率军一路北逃到范阳郡；兖州刺史朱序率军连续突破祝阿、清河二郡，又趁邺城陷落之际在建兴郡阵斩前燕宗室宜都王慕容桓，将战线推进到了后赵旧都襄国郡附近；豫州刺史桓豁在成功攻占了濮阳郡之后，又继续北上，成功占领了顿丘郡、魏郡、贵乡郡等地，然后又到邺城与桓温合兵一处，共同出兵上党郡。

上党郡是前燕的西部屏障，也是进入并州的主要关隘，由于上党邻近壶关，壶关是从前燕进入前秦的重要关隘，目前由前秦将领毛当据守，因此上党一失，不但并州受到威胁，而且前秦也会寝食难安，于是之前一直在坐山观虎斗的苻坚决定不能再袖手旁观了，于是立即派之前已经入驻河内郡的将军苟池和洛州刺史邓羌率领步骑2万火速回援壶关，并择机救援上党郡。

但是，有北府兵在手的桓温根本就不在乎这两万前秦军，此时镇守上党的是前燕宗室，南安王慕容越，慕容越也算是一员虎将，他认为上党城城高池深，之前前秦数次来攻都失败而归，现在几十年都没有到过这里的东晋军队更是不足为虑，因此根本就没有做充分的准备，而是继续在府里饮酒作乐。

而事实也确实如慕容越所言，上党郡由于地处边塞，历朝历代皆十分重视城防，所以将上党城修筑的十分的坚固高大，护城池也是水深河宽，要想攻陷上党确实是需要费一番思量。

好在桓温也积累了很多的攻城经验，他见上党城如此坚固，而且城头上的防御明显松懈，因此断定慕容越犯了麻痹轻敌的兵家大忌。

于是，为了在前秦援军到达上党之前

攻克上党，桓温决定立即地道战的战术，一边派士兵日夜不停的挖地道，一边派人假装攻城，为了演的更真实一些，桓温甚至连配重性抛石机都用上了，但是因为上护城池太宽，所以很多石头并没有抛到城头上，而是砸在了城墙上，在城墙上砸出了好几个窟窿，慕容越但心东晋军队会夜袭，所以便派人连忙修复受损的城墙。

于是，白天桓温派人炮轰城