劉虎率兵攻晉陽，牽制劉琨，不料久攻不下。
劉虎本姓赫連，字烏路孤，匈奴鐵弗部首領。生得虎背熊腰，濃眉闊眼，他殺伐果斷，性情粗暴，見壺關其餘幾路都勝利了，只有他毫無進展，禁不住紅了眼。
命人多造雲梯和攻城塔，城牆之上，不停有胡兵爬上去。又被砍下來，墜落之勢跟下餃子差不多。劉虎在後面督戰，有敢後退畏戰者，殺無赦。士兵上去一批，死一批。士兵死傷屍體層層疊疊，城下堆積如山，就是攀登不上城牆。
晉陽雖然被圍得水洩不通，城裡守軍也不多，因為都被劉琨派出去，支援壺關了。但是軍民一心，奮起反擊，愣是把劉虎防得無機可乘。
此時劉聰結束了阻擊任務，全殲了王曠的救援之兵，一直殺到晉陽城下，支援劉虎。他就不信了，在他印象裡，晉軍個個貪生怕死，都是酒囊飯袋，怎麼這個劉琨如此難搞？況且城外之兵是城內守軍的數倍之多。
他準備了大量投石機，破壞城牆和城門，兵士被催促日夜攻城，不給劉琨喘息之機。劉琨這邊嚴防死守，箭矢如簧，暴風驟雨一般飛向敵人士兵，老百姓拆了城中的民居，把石頭運向城投頭，不停投擲，砸向胡人、胡人士兵頭破血流，哀嚎不已，摔下攻城雲梯。晉軍更兼潑油點火，把胡人士兵燒得皮肉皆焦。
百姓無條件支援守城，幾乎全城皆兵，門板也都被拆了下來，做成盾牌和鎧甲，送到戰場。
劉聰也沒見過如此頑強的西晉守軍，這劉琨果然名不虛傳，一介書生，如此有勇有謀，文武全才，不由得又氣惱又敬佩！
城中兵士死傷慘烈，晉朝支援大軍，始終未見蹤影，後繼乏力，胡兵還在源源不斷增援之中，形勢對劉琨極其不利。
晉陽就是一座孤城，而且是風雨飄搖之中的一座孤城，瞬間可能就會被攻下。
城中軍民不免產生了悲壯蒼涼之態，大不了與晉陽、與劉琨同生死，共存亡。
入夜時分，帳下一員大將進來稟報，城中箭矢已經用光，石頭也沒多少了，軍糧早已斷了多日，守城士兵十去七八，幾乎都已經戰死，估計明天晉城就要被攻破了。
如今匈奴兵稍歇，難得的一段平靜時光。大家都知道，更為猛烈的進攻馬上就要開始了。
劉琨起身換了一件白衣，一揮衣袖道：“跟我去城頭看看。”
當時明月當空，亮如銀盤，站在城樓之上，彷彿一伸手就能摸到。
涼風襲來，吹來滿城的血腥氣味和絲絲寒意，也吹動了劉琨的白衣，隨風飄蕩。他望著月亮一聲長嘯，壯懷激烈。
此聲長嘯如孤冷陰雷，在晉城城頭炸開，又碎裂成萬千愁緒，隨風四散。
城下睡夢中的匈奴兵皆被驚醒，禁不住仰著頭望著城頭這位白衣守將，其長嘯之聲，也深深沁入每個人心中，很多人一時恍惚，這個人是誰？我們又是誰？我們在這裡幹什麼？
劉琨命手下人拿來胡笳，吹奏起他親自編寫的《胡笳五弄》，胡笳本是胡人樂器，他們對這個聲音太熟悉了。
劉琨吹得圓潤渾厚，聲音柔和深沉，胡笳之音和淒涼冷清的月色混交在一起，深入人心。劉琨孤立城頭，狼煙裹著他的身影在月色下忽隱忽現。
胡人士兵突然思鄉之情漫天而起，淚流滿面，互相依偎尋求慰籍。
城上會胡笳計程車兵也自發拿起胡笳，含淚與劉琨一起吹奏，樂聲嫋嫋連綿不絕，衝擊心懷。
一夜之間數十萬思鄉胡軍，散得乾乾淨淨。
劉聰和劉虎從未遇到這種情況，尤其劉聰，他通曉漢家文化，經史子集無所不知，也知道四面楚歌的故事，可是那是敗軍被吹散，我這勝利之師怎麼一夜之間，也被吹散了呢？
但也無法，只好悻悻然退兵回去，打算來日引兵再戰。
晉陽算是保下來了。
可能劉聰做夢都沒想到，晉陽孤城一座，卻像釘子一樣死死釘在了他的心腹之地，一釘就是十年。