又遠遠超過了漢軍。
在薛仁貴的攻勢之下，上谷八縣只剩下寧縣等三縣，連最為堅固的治所沮陽城，都落在了薛仁貴的手中。
如今舊敵未退，新敵又來，霍光和薛剛都知道，上谷已經註定守不住了。
正當兩人糾結是要繼續死守，還是放棄上谷保留兵力之時，燕京的劉徹發來飛鴿傳書，命令兩人放棄上谷回守燕京。
原來蘇定方領軍進入廣陽郡後，並未直接攻打燕京城，而先奪取了靠近漁陽的兩座縣城。
隨著蘇定方連破昌平和安次兩城後，秦軍也在廣陽郡內站穩了腳跟，在想將秦軍趕走已經不容易了，更何況漢軍也沒有那個實力。
此時的燕京城內既無名將也無名帥，這讓北漢滿朝上下都大為驚恐，劉徹也有些底氣不足，擔心燕京會守不住，於是下令讓霍光放棄上谷，回軍死守燕京城。
霍光和薛剛收到訊息後都鬆了口氣，畢竟只要有了這道命令，他們就可以名正言順的放棄上谷了。
燕京乃是北漢都城，經過劉徹三次擴建，以及五次翻修，防禦力絲毫不比鄴城差，城內囤積的糧草足夠十萬大軍用上一年。
只要能夠回到燕京，依靠城池之利，薛剛有把握守到糧盡為之。
霍光和薛剛都怕薛仁貴會追擊，不讓他們輕易逃回燕京，而這時候徐美祖站出獻計，故意擺出一副要襲擊秦軍，逼薛仁貴分兵去保護糧道。
薛仁貴不知有假，大意之下，果然中計，讓漢軍找到了撤退的機會。
最終，趁著呂布的大軍還未和薛仁貴匯合，薛剛和霍光放棄了上谷三城，領著兩萬大軍逃回了燕京城。
得知漢軍跑了之後，薛仁貴大為惱火，親領五千輕騎前去追擊，可追到了廣陽郡地界，也還是沒能追上。
在繼續追擊的話，薛仁貴又怕中埋伏，於是只的領軍撤回，先把上谷剩餘的城池給佔了，等和呂布會師之後在一起殺入廣陽郡，聯和蘇定方一起攻打燕京城。
上谷三城已經是空城，自然不可能擋的住薛仁貴，所以薛仁貴只用了一天時間，就將三城全部佔領，唯一可惜的是城內的物資都已被焚燬，這顯然是霍光和薛剛的手筆。
自此，上谷郡十一縣也徹底落到了秦軍的手中，漢軍在幽州只剩下涿郡五城以及廣陽三城之地。