決定了前往徐州之後，羊毅開始著手準備。
位于黃河以西的漢民，全部遷入五原郡，而東西河地區的百姓，則全部遷入離石。羊毅的主力一撤，勢力收縮是必然的，沒有漢家軍隊的守護，胡漢雜居之地的百姓，幾乎就是胡人屠宰的羔羊。
除了遷民，最重要的是糧食，從離石到彭城，兩千余里地，糧食不足，是要命的。
羊毅手中糧食並不多，此時只能盡可能的集中，不過軍中牛羊倒是不少，路上可以用來換糧食。
而另一個更重要的東西是馬匹。
羊毅很清楚，曹昂在徐州，幾乎什麼都不缺，唯獨缺戰馬。
雖然曹昂之前已經囤積了大批的戰馬，但戰馬畢竟是消耗品，而徐州又幾乎沒法補充。
這次南下，羊毅不知何時才能返回，為了保證馬匹的充足，他提前幾個月便囤積馬匹。除了軍中自養的，還拿出大批物資跟南匈奴人榷市。整個使匈奴營兵力不過五六千，但馬匹卻有上萬匹。
八月下旬，羊毅做好了全部準備。
此時羊毅麾下，有使匈奴營六千五百人，徐晃的西河郡兵一千六百人，張遼的上郡郡兵兩千三百人，共計萬余人。
除此之外，還有三千多名新兵。這些人說是新兵，實際上是願意跟著羊毅前往徐州的百姓。
原文來自于塔&讀小說~&
羊毅也願意帶著他們。
邊地百姓，幾乎人人訓練。稍加磨礪，就是一支強兵。
整個撤退的隊伍有一萬三千余人，在人口稀少的並州，算是一支強大的力量，這也是羊毅敢于前往徐州的底氣。
從離石到彭城，道路眾多，而羊毅一行最大的挑戰是出並州。
出並州有三條路，一條是沿汾水入河東，這條路正面是牛輔主力，而且沿途都是董卓的勢力範圍，肯定不成。
第二條是經上黨郡入河內。羊毅思索一番，也放棄了。上黨是個盆地，出入道路不多。若是董卓將南北道路堵住，羊毅所部很可能困死在上黨。
而第三條路，則是一直向東，經太原郡，走井陘入冀州。
曹昂和韓馥也算盟友，只要進入冀州，勉強算安全了。
對于羊毅的決定，徐晃、張遼和成公英三人皆無反對。大家的目的是平安撤到徐州，沒人願意和董卓軍主力死磕。
八月二十五日，羊毅命令徐晃率一部騎兵西進，做出向界休逼近的架勢。
原文來自于塔&讀小說~&
此時董卓所部，牛輔主力屯于平陶，手下校尉李傕屯于永安，校尉郭氾屯于鄔縣。三部呈品字形分散于離石東面，既護住身後的太原，又擋住羊毅東進的道路。
羊毅很清楚，這一段時間大規模集結部隊，囤積物資，瞞不住牛輔。而牛輔之所以未動，只是不清楚羊毅的目的。
一旦大軍貿然撤離，讓牛輔弄清羊毅意圖，必然會遭到牛輔的圍追堵截。
太原地區，亦是一個盆地，四面環山，道路就那麼幾條。一旦遭遇牛輔所部前後夾擊，進退兩難，大軍的撤退很可能成為一場潰敗。
所以大軍要撤，就一定不能表現出撤的意圖。
羊毅命徐晃突襲界休，擺出一副要決戰的架勢，得知消息的牛輔，立刻便驚了。界休位于太原盆地最南端，一旦羊毅所部佔領界休，整個牛輔所部，便被切成兩截。
牛輔也是大意了。
他一直覺得是在威壓羊毅，根本沒想過羊毅會主動出擊，因此對界休方向放松了警惕。
得到消息的牛輔，立刻命令麾下校尉張濟率部支援界休。
牛輔的反應算是很靈敏了，可惜這是羊毅設下的陷阱。張濟所部一動，羊毅便命張遼率部南下，趕在張濟救援的必經之路伏擊。
張濟措不及防，損兵兩千余，灰頭土臉地返回平陶。
而徐晃也未再攻打界休，而是直接返回離石。
牛輔得知消息，心中憤怒，知道中了羊毅誘敵之計，恨不得立刻率兵殺向離石。不過離石地形復雜，他也不敢輕舉妄動。
過了兩日，羊毅又命令徐晃率一部騎兵，出文水，做出直逼太原的架勢。
牛輔聞知消息，又是一驚。
太原囤積著大量物資，兵力卻沒有多少，一旦失守，他們和羊毅在並州的攻防之勢將會發生巨大變化。
于是牛輔不得不又派兵支援。
徐晃明著攻打太原，半路之上，听到牛輔所部來援，直接掉頭回擊，和文水方向的張遼兩路夾擊牛輔援兵，又勝一陣，斬首近兩千人。
連續兩場大敗，大大挫傷了董卓軍的銳氣。
牛輔算看明白了，羊毅根本不是攻城，其目的是消耗他的兵力。而他被對方牽著鼻子走，疲于應對，損失慘重。
眼看如此局面，牛輔決定，將主力集中在文水和茲氏兩條離石通往太原的主道上，同時多布斥候，多加戒備，將羊毅堵死在離石。
如此過了十余天，羊毅又出擊了兩次，果然再無所獲。
牛輔心知自己的計策奏效，便繼續以此法抵御羊毅。
又過了十多日，羊毅似乎承認了失敗，沒再出擊。牛輔心中得意洋洋，他幾乎封死了羊毅與外界的聯絡。眼看冬天將至，沒有太原郡支援，看羊毅這個冬天怎麼過。
日子一直到了九月底，盤踞在離石的羊毅似乎沒了動靜。
這時牛輔麾下校尉賈詡心知不對，便勸牛輔主動出擊試探。牛輔剛開始還不願意，畢竟離石是個難啃的骨頭。
可經不住賈詡的勸說，終于舉兵西向。
可是牛輔一直打到離石城下，這才發現，羊毅的主力，早走的干干淨淨。經過詢問當地人得知，羊毅所部已經離開了快半個月。
牛輔有些懵了。
羊毅難道退往五原郡了。于是牛輔立刻派兵向西追擊，可直到渡過黃河，追兵也未發現蹤跡。
此時的牛輔，滿心的狐疑，只是他萬萬想不到，羊毅所部主力，此時早就一路向北，繞道汾陽邑（治今山西省靜樂縣西），直撲太原了。
汾陽在前漢是縣，後來被廢。
南匈奴人南遷之後，整個呂梁山脈的漢人幾乎絕跡，所以無論是劉靖還是牛輔，根本沒想過這片土地，此時正好讓羊毅利用上。
西河大軍從太原北面出山，立刻佔領了狼孟，而牛輔的主力大軍，則被遠遠地甩到了他們的身後。