高覽大驚，他手裡只有五千騎兵，肯定不敢硬剛鮮卑兩萬大軍。他連忙派人向管子城的閻柔求援，同時回報訊息到右北平。
果然，不到半個時辰，鮮卑的騎兵便來到的平剛城下。一些還未來得及入城的牧民連忙放棄自己的馬，趕緊入城，城門關閉。
這支鮮卑軍隊的首領是素利，是西部鮮卑三大首領之一。由於鮮卑各部之間相互攻伐，他的領地也不斷變遷，結果距離平剛城越來越近了。
袁紹派人找他，許諾了不少的財物，讓他出兵騷擾一下幽州。聽聞幽州曾擊敗過彌加和扶羅韓的軍隊，素利有所猶豫了。只是袁紹給得財物太多，不由得他不心動。他還由此得出一個結論，漢人的地盤多麼富庶，他都忍不住流了口水。
於是他想到了一個辦法，他只是襲擊了一下就近的平剛城，隨便擄掠一些財物，在幽州大軍聚集之前，迅速撤離。幽州大軍不敢深入草原，他就能成功擄掠而歸。所以，素利最終做出決定，兩萬軍隊南下平剛城。
幽州的狼煙其實很容易破解，鮮卑人早就有辦法去應對，即派支幾十人的小軍隊，悄悄地尋找烽火臺的位置，再潛伏襲擊，得手後，再讓後面的大軍進軍。素利也是靠這種方式，一直到距離平剛城很近的地方，才被發現。
到達平剛城時，素利看到漢人已經躲入城中，很多馬匹及其他財物還在外面，沒來得及入城。他哈哈大笑，這些東西自然就歸他了。
只是，他不想要馬匹，因為他有足夠的馬，他希望能擄掠到一些鐵製廚具、衣服之類的東西。自從劉虞敗亡後，幽州與北部鮮卑人的貿易就中斷了，他無法獲取到足夠的廚具、衣物等。
當然，按照他最先的設想，隨便搶些東西就撤退，但人的貪念一上來，又豈能說退就退呢？
素利讓人把漢人丟下的財物收拾一下，他看著平剛城，心裡一陣冷笑，漢人只會據城防守。城裡面估計有不少財物，此刻他心中大動。
“攻城！”素利沒有猶豫多久，便果斷下令攻城。
平剛城建在草原邊緣，這城牆也是高覽組織漢人，在原烏丸人的城池的基礎上加固的。城牆採取的是磚包土的方式修建，即外面一層是磚，裡面是夯土。只是，因材料運輸不便的原因，所修的城牆並不高，僅兩丈左右。
隨著素利一聲令下，鮮卑騎兵一分為二。一部分騎兵馬來到距離平剛城約六十步的地方，對城上射箭。另一部分士兵下了馬，企圖來到城下，藉助簡易的攀爬工具，攀爬城牆。
高覽看到鮮卑人攻城，心中反而鬆了一下，因為他更擔心鮮卑人越過平剛城，進入右北平腹地。右北平多年免於戰爭，發展情況很良好，他也不希望鮮卑人破壞了右北平的現狀。而且，他也需要為土垠城和管子城爭取點時間。
“放箭！放箭！”高覽看到鮮卑騎兵想攻城，那就不客氣了。城牆上幾百名士兵，千箭齊發，威力可不小。五六十步開外的鮮卑騎兵紛紛倒地。
素利臉色大變，這時他才想起了幽州軍的弓弩的威名。然而開弓沒有回頭箭，他握緊拳頭大喊：“快射箭！快射箭！”明知對射處於劣勢，他還是堅持對射。
鮮卑人下了馬，以馬為掩體，企圖躲避幽州的弓弩。待城上計程車兵裝箭的時機，他們又連忙拉弓射箭，回射幽州軍。
平剛城城牆上空間狹小，站不下太多士兵，弓弩雖厲害，但鮮卑人仍是以兵力優勢取得壓制。
此時一些鮮卑士兵藉此機會，來到城下。他們使用一種類似鉤爪之類，往城下一扔，便能鉤住城牆，然後抓住鉤爪上的繩索，往上攀爬。
高覽看到鮮卑士兵想登城，心中大急：“韓忠，你帶士兵守住那邊，我守這邊。”韓忠是他的手下部將，年僅二十出頭。
兩人各帶