桓振敗亡后，桂陽太守章武王司馬秀因為是桓振的妹夫，擔心禍及自己，與益州刺史（益州已亂，應該是遙領）司馬軌之謀反，伏誅；桓玄余黨即他的侄子桓亮、桓道兒（桓歆的兒子）、前秦太子苻宏等多次擁眾寇亂郡縣，被左將軍劉毅、并州刺史劉道規、秦郡太守、陳留內史檀祗等分兵討滅。
然后劉道規的兄長侍中、車騎將軍、都督中外諸軍事、徐、青二州刺史劉裕開始著手平定以譙縱為首的益州叛軍，但沒那么容易。到了年底，桓家人又跳出來了。
此人叫桓石綏，是桓玄的堂弟，桓振的叔父。以前司馬德文拜司徒，桓石綏是他的左長史；桓玄掌權，桓石綏任黃門郎、左衛將軍。
桓石綏與司馬國璠、陳襲聚眾胡桃山為寇，被建威將軍劉懷肅擊破。
一個司馬家的人怎么和桓家混到一起去了呢？
桓石綏雖然被擊破，但并沒有死，死的是別人——轉過年，劉裕府將駱冰謀亂事敗被斬，劉裕便說桓玄的姐夫殷仲文及桓石松等都是同謀，為的是立桓沖之孫桓胤為主，全都滅族，又收割了一批桓家人。
這一年，東興縣侯劉懷肅去世。
義熙四年（408年），益州叛首譙縱因為稱臣后秦，請求讓流亡后秦的桓謙幫忙。秦王姚興問桓謙的意思，桓謙說，就憑我家的威望，從巴蜀順江而下，肯定能得到荊楚百姓的響應。姚興卻不以為然，說，只怕譙縱容不下你，你自求多福。
桓謙到后，果然因為虛懷引士遭到譙縱的懷疑，反被軟禁，哭著對弟弟們說：姚主這是神預言啊！
等桓家人再次出鏡，已經是義熙六年（410年）劉裕北伐消滅南燕班師以后了——譙縱以桓謙為荊州刺史，譙道福為梁州刺史，率眾二萬攻打荊州，姚興遣前將軍茍林率騎兵會合。
當時確實是趁亂取利的好機會，因為五斗米道教徒盧循又作亂了，江州刺史何無忌陣亡，江陵人不知道都城建康的消息，人心惶惶，也有盜賊作亂。
當時的荊州刺史劉道規也就面臨著嚴峻的考驗。他派司馬王鎮之率檀祗的弟弟天門太守檀道濟、廣武將軍到彥之入援建康，結果王鎮之到尋陽，就為茍林所破。盧循得知，以茍林為南蠻校尉，分兵給他，命他乘勝攻打江陵，聲言自己已攻克建康。
這時候桓謙也終于有了用武之地，利用家族聲望招募了二萬百姓，屯枝江，茍林屯江津，對江陵形成夾攻之勢，江陵士民多懷異心。
劉道規召集將士，說自己早有準備，足夠守城，你們想走可以走，并且徹夜打開城門。眾人憚服，反而沒人跑了。
雍州刺史魯宗之再次及時入局，率數千軍隊從治所襄陽趕來。劉道規不懷疑他，單馬迎接，魯宗之感悅。劉道規就讓他負責守城，親率諸軍攻打桓謙。
諸將都說，不該先打更近的茍林嗎？萬一打桓謙未必能贏，茍林來攻城，魯宗之守不住怎么辦？
劉道規說：茍林愚懦，沒有奇計，我們沒走遠，他不敢攻城，他猶疑之間，我們早就往返了。桓謙敗了，茍林就破膽。魯宗之難道連幾天都守不住？
于是劉道規水陸并進，桓謙等人也用船隊和步騎迎戰于枝江。檀道濟先登陷陣，桓謙等大敗；桓謙單舸逃奔茍林，被劉道規追斬。
劉道規再回到涌口打跑茍林，派咨議參軍劉遵率眾將其追殺；又搜到江陵士民愿意為桓謙做內應的書信，全都不看，直接燒了，眾人因此安心。之前的幸存者桓道兒聯合盧循繼續作亂的時候，荊州人已經懶得響應了，于是桓道兒被劉道規擊敗。
這時桓石綏也趁亂起兵洛口，自號荊州刺史；征陽令王天恩自號梁州刺史，襲據西城。梁州刺史傅韶遣其子魏興太守傅弘之討伐，將他們都消滅了。
隨著桓振、桓謙、桓石綏這些帶頭人物相繼退場，史書記載“桓氏遂滅”。但事實上，故事還沒有結束，因為還有一些桓氏族人在后秦。這時候距離桓玄被殺也已經六年了。
次年，劉裕平定盧循。
等劉裕先后消滅了譙縱（413年）和后秦（417年），桓溫的孫子桓道度、桓道子和桓謐、桓璲等族人就進入了北魏（桓蔚、桓怡哪去了？死了？）。但當時他們已經不孤單了，和他們同行的還有司馬休之、司馬國璠，甚至還有屢次對討伐軍雪中送炭的魯宗之的兒子魯軌，如果當時魯宗之還健在，也就包括了他本人。
司馬休之、魯宗之等人北逃發生在義熙十一年（415年）。另一位親歷者劉毅則沒有親歷這么多，他比譙縱還早一年就被劉裕干掉了。
而其中的原因，正如司馬國璠對姚興所說：劉裕的禍心甚于桓玄！
北逃的桓氏幸存者其實已經沒有太多故事了，但在劉裕最終代晉立宋以后，江湖上卻又有了桓氏的傳說——
北魏孝文帝延興年間，沔水一帶大陽蠻地區蠻族首領桓誕（又叫桓天生）率蠻民八萬余落遣使歸順，自稱是桓玄的兒子。孝文帝封他為襄陽王，拜征南將軍，東荊州刺史，聽任他自選郡縣令。桓誕居于沔水以北，滍、葉以南，出兵南攻義陽、竟陵，全部無功；太和十八年（494年）入朝洛陽，被北魏賞遇隆厚，不久去世。
就算桓誕是桓玄的遺腹子，這時候也得九十歲了。而且桓玄的兒子為什么要和桓振的哥哥一個名字呢？
桓誕的兒子桓暉、桓叔興先后分別被北魏任為東荊州刺史和南荊州刺史。桓叔興的故事更豐富，他多次擊破南梁入侵，更斬殺多名南梁將領，然而他最終卻叛逃到了南梁。
于是這一支的故事也到此為止了。
