顧全武領著1萬大軍前來進攻桓文的部隊，由於桓文的部隊水土不服，導致很多軍士生溼病，留下4000傷員在四會進行休整。
桓文召開議事會議說道，如今我軍還未到番禺就已經損兵折將，現在這將士們在這種情況下很難發揮戰鬥力，為今之計，應該先把這病去除，我也擔心這些南人會趁我們行軍有困難，會來偷營啊。
周世說道，將軍，我有一個辦法，我們可以把這4000軍士放在四會進行休整，然後我可以帶5000人埋伏在周圍，如果那些南人來了，我可以打他一個措手不及，如果那些南人沒有來，我也可以護衛這些軍士的安全。
桓文說道，此計可行，這裡溼熱，我軍不可長久在這裡作戰，我意準備快速解決戰鬥，我將帶4萬軍士快速前往番禺，此去番禺約140里路程，我軍可輕裝前進，打他個措手不及。
桓文令周世領兵在此處設伏，自已則帶其餘軍士繼續往番禺前進。
顧全武偷偷行軍到了四會，並未看到桓文的主力部隊。
手下的參軍李虎道，將軍，此處沒有晉軍主力啊，只有這些傷員在這裡休整。
顧全武不懷好意的笑了笑，那就算他們倒黴吧，傳我命令，全軍出擊。
顧全武領著1萬大軍，往晉軍大營衝，到了大營，只聽喊叫聲四起，殺，殺。
周世的軍隊迅速衝出來殺向了顧全武軍，本來顧全武還想撿晉軍便宜，哪裡能想到被晉軍給算計了，顧全武只得邊戰邊退，殺了一上午，顧全武被殺7000餘人，周世這邊損失了2000多人。
顧全武帶著剩餘的部隊往番禺城逃跑，周世見這邊完成了任務，也並沒有繼續追趕。
桓文領著4萬大軍輕裝前進到了番禺城外幾十裡外，在逃的顧全武被正在番禺的桓文給抓起來帶到桓文身邊。
桓文說道，亂臣賊子，我今引15萬天兵來南越就是來收復兩州的，現在你被我抓了，本來我是應該殺了你的，但是我現在想了一下，你們顧家也在兩州經營了十幾年了，我思前想後三表陛下，我這次想和平收復兩州，如果你們願意和平歸附，那我便不引大軍攻打你們，如果你們不歸附，那我便領天兵踏平你番禺，殺光你們所有人。
顧全武連忙跪下，小臣謝謝將軍大義，我這便去勸顧紛之投降。
桓文陰狠狠說道，我只給你3天時，3天如果你們還沒有出城投降，那我大晉將讓你兩州破碎。
顧全武滿頭大汗的說，會的，會的，我會完成的。
顧全武跑回了番禺城見到了顧紛之。
顧全武哭著對顧紛之說，陛下，老臣差點就回不來了。
皇叔，這是為何啊。
陛下，這晉軍來了20幾萬人，人山人海的，老臣被晉軍給抓了，桓文要求我們3天之內必須出城投降，不然會殺了我們所有人。
顧紛之說道，這晉軍怎麼可能有那麼多人，皇叔所言非虛嗎？
陛下可隨老臣到城頭看，兩人來到城頭，只見遠處塵土飛揚，晉軍旌旗招展的站在前方，看上去確實像有幾十萬大軍。
原來顧全武回城時，桓文命令2000軍士砍下大樹讓馬拖著來來回回的跑，造成了一種大軍正源源不斷前來的情況。
顧紛之這下可被嚇到了，召叢集臣商討。
顧紛之著急忙慌的說道，現在晉軍領了20萬大軍前來攻城，以我國之力，肯定是打不過的，我有意歸降，不知道大家怎麼看。
這些個官員平時也只是窩裡橫，哪裡經過這種事情，都面面相覷，還是顧全武站出來說。
陛下，我認為應該歸附，方可保榮華富貴，如果執意戰鬥將必死無疑啊。
顧紛之說道，為今之計也只能這樣了。
三天後顧紛之帶著文武百官出城投降，顧紛之領著文武百官在桓文身邊跪下說道，將軍，今我領越國文武百官請降，請將軍不要傷害這兩州百姓。
桓文安慰到，你今歸附，我當上表陛下讓你繼續富貴，但是你們不能繼續在番禺了，你們要隨我去建康。
現在的顧紛之已經沒有選擇的餘地了，能活下來就可以，當然不會有別的想法。
桓文在番禺待了一個月，命周世在此善後，自已帶著顧紛之等人返回建康。
返回建康的桓文受到了熱烈歡迎，這是繼南渡以來，第一次的大勝利，桓文經過這一戰也對北伐有了很大信心。
司馬嶽封桓文為臨賀郡公、徵西大將軍、開府儀同三司，手下的人也全部都封高官，歸降的顧紛之被封為歸義侯。
郭賓被封為龍驤將軍、馬無忌被封為前將軍，周世封為廣州刺史。
此時桓文的權力已經到了頂峰了，在晉國，爵位分為幾等，依次為王、公、侯、伯、子、男，只有皇室才能封王，其他大臣最高只能封公。
現在的桓文可以說是功高蓋主了，不免引起上位者的顧慮。
尚書左丞荀藐擔心桓文的權力過大會成為之前王敦那樣的人，經常提醒太后和皇帝司馬嶽應該要防備桓文，太后和司馬嶽也擔心桓文會進一步做大，思來想去便想任用殷浩。
殷浩曾經擔任庾亮的記室參軍，很有才能，但是殷浩很討厭當官，後庾亮病死，殷浩便開始歸隱山林。
司馬嶽派人幾次去請殷浩，殷浩都拒絕出來，推說自已才疏學淺擔任不了重要的位置。
司馬嶽便親自去勸說，愛卿的才能是可以治國的，如果你這種人才都不願意出來為國效力，那便會有人說我國留不住人才，這樣只會給國家造成損失，愛卿你為了國家應該要出山啊。
殷浩聽後沒辦法只得出山。
司馬嶽封殷浩為揚州刺史，桓文在得知司馬嶽安排殷浩來牽制他。
桓文笑了笑說，這些人都是空有其表的人。
此時的夏齊兩國爭的你死我活，夏國防守南方的軍隊有一定空虛。
桓文一直想北伐，見這個機會不錯，於是上表想去北伐。
司馬嶽擔心桓文權力會越來越大，便以國家還應該休養生息為由拒絕了桓文北伐的請求。
桓文越想越氣，這肯定是那個殷浩想的辦法，他就是想一步步瓦解我，我不會怕他。
桓文召來眾將，我如今已經掌握了四州軍馬，我現在想北伐收復中原，陛下竟然不同意我的請求，一定是那個殷浩想的主意，我決定領10萬南下，來威脅朝廷。
郭賓說，將軍，如果領兵南下陛下會認為我們想造反，這樣會造成不好的後果。
桓文笑了下，有什麼不好的，我只是帶兵南下走一圈，他們能說什麼，就算我真的想造反，誰能擋我。
桓文領兵10萬南下到了武昌，司馬嶽也一直沒有收到桓文領兵南下的目的，一時間建康城內，人心惶惶的。
司馬嶽找來殷浩拿主意，這個殷浩也沒有什麼辦法，只能說。
陛下，桓文一定認為這是我的主意，如果今只能我辭官讓桓文滿意他才能退兵了。
就在司馬嶽拿不定主意的時候，王導的侄子王彬之站出來說道，陛下，桓文不是普通人，我願給桓文修書一封，一定可以讓他退兵的。
信中寫道，現在北方還沒有平定，您說北伐也是為國家考慮，這是大義，目前能北伐的人選除您外沒有別的人可以了，但是北伐是需要大量財力人力的，我們國家的軍力財力都不如北方的胡人，如果您現在就北伐的話，後方的物資肯定跟不上，就必然會失敗，現在您的名聲這麼好，到時如失敗，肯定是議論紛紛的，這樣對您不好，我認為可以先發展國力等國力發展起來，您在進行北伐，這樣一統天下，指日可待。
桓文看到這封信，冷汗出了一身，他明白此時他並沒有得人心，如果現在北伐的話，那些想對付自已的人會在後方做小動作，當即領兵返回，並向朝廷請罪。
司馬嶽也並未怪罪桓文，他也沒辦法怪桓文，本以為可以告一段落，殷浩這時站出來說要發兵豫州。
殷浩把這個想法上表給了司馬嶽，王彬出來說道，您是一個人才，但是人才也有職務的分別，您沒有參與過軍事，你的才能只能治國，不能參與軍事，我勸你不要北伐。
殷浩聽後很不高興的說道，你是認為我不知軍事嗎？桓文都可以滅一個國家，我殷浩偏要讓你們看看我怎麼打勝仗。
司馬嶽見殷浩這樣說，也很高興，便安慰道，我大晉有爾等人才，收復失地，指日可待。
於是司馬嶽命殷浩領10萬大軍出建康，謝尚為前鋒，姚武為副將，全軍進攻許昌。
殷浩領著10萬大軍出發，夏軍得知晉軍前來，命大將軍李遠之拒敵，劉遠之是北方名將，身經百戰，他見晉軍軍紀並不嚴整，便對副將嶽山說道，我看晉軍殷浩並不是熟悉兵事的人，我計劃來個誘敵深入。
嶽山說道，怎麼個誘敵深入呢。
你領3萬先與晉軍打，記住一定要輸，把晉軍引昆陽來個關門打狗。
嶽山領兵便和殷浩開始交戰，按計三戰三敗，殷浩見自已多次打敗夏軍，便和謝尚說，我還以為這些北方的胡人有多厲害，原來是這種水平，看來這大晉的天下要靠我收復了，傳我將令，追。
姚武出來勸道，將軍，您要小心這是誘敵深入啊，這夏軍是北方強國，這劉遠之也是當世名將，不會這麼好對付的。
殷浩怒道，你瞭解什麼，你是認為我打不過嗎？我是主將，我說了算。
殷浩命大軍一路追趕，快到昆陽時，只見四面八方的大軍殺了出來，為首的劉遠近之領2萬騎兵，衝殺過來，殷浩從來沒有打過仗，被眼前這種景像嚇了一跳，自已竟然帶著部隊逃跑了，謝尚和姚武兩個人苦苦支撐，還是被夏軍打敗，一直打的姚武和謝尚逃到譙城。
殷浩此時逃到了壽春，他命令姚武與自已會合，但是被姚武拒絕，他怕姚武自立，便安排刺客許敬去刺殺姚武。
許敬沒有刺殺成功，被姚武的親兵抓住了，許敬把殷浩給供了出來，姚武殺了許敬便投秦國去了。
出師不利的殷浩被北方打了個措手不及，出去10萬回來3萬，這下名譽掃地了，司馬嶽只能讓殷浩返回建康。
桓文上表說，這個殷浩哪裡是去打仗，簡直就是去送戰功去，許昌沒有打下來，還把大將給逼反了，這樣的人用下去只會對國家損失越來越大，我上表應該殺了他。
司馬嶽見大家都有意見，便只能讓殷浩一個人背下這個鍋，免去了殷浩所有的官職讓他回老家去。
這時大家便念起桓文的好來了，認為只有他有能力可以北伐，紛紛請求司馬嶽重新命令桓文掌握軍權，司馬嶽也架不住壓力，便繼續把大權給到桓文。
桓文在休兵了1年後，便想命令大軍進行北伐。
郭賓出來勸說道，將軍，我認為我們可以先討伐益州，如果此時進攻北方，或許不容易勝利，如果把益州平定了的話，那南方就無後顧之憂了。
桓文說道理了，無事，現在不比以前了，我們有能力可以進攻長安了，益州那邊不著急，我會安排好。
桓文領兵5萬從江陵出發，取道襄陽，直指武關，在戰前他命大將李進領3萬軍士前往益州威脅要求如果敢在背後搞小動作，他將發天兵來懲罰益州，李漢皇帝不敢有所動作，所以沒有出兵。
武關是關中門戶，取武關可以直接進攻長安，所以是兵家必爭之地，桓文到了關下後並沒有發起進攻，他讓幾百人化妝成老百姓進人關中，到了晚上擊鼓，秦軍認為是來攻關，所有人都來關上防守，城內的數百人在城內到處點火，同時大叫晉軍殺進城了。
秦軍大驚失色，沒有做戰的心態，桓文趁機攻入關內，戰報傳回建康城內，那些對桓文有意見的人也開始心服口服了，國內開始傳出，此去定可收復長安的言論。