時隔不久，祖逖被西晉皇室請王看中，先后被齊王司馬同任作大司馬椽；長沙王司馬義用為驟騎祭酒，后轉為主簿，累遷太子中舍人；又被豫章王任用為從事中郎。西晉永興元年（304年）七月，八王之亂還沒平息，骨肉自殘仍在熱火朝天地繼續著。成都王司馬穎鎮守在鄴城（今河北臨漳西南），卻遙控著洛陽的朝政。東海王司馬越奉晉惠帝之命，北伐鄴城，祖逖也應命參加了討伐司馬穎的戰斗。結果，王師在湯陰（今河南湯陰西南）大敗。原本神圣不可侵犯的一朝天子晉惠帝束手就擒。朝廷之亂越發不可收拾。祖逖目睹了司馬氏宗室內部的丑陋表演，對西
晉朝廷感到絕望。因此，退兵回洛陽以后，盡管仍有一些諸侯王，像范陽王唬、高密王略、平昌公模等前來聘請他到自己府上做官，但都被祖逖拒絕了。一起出征的東海王司馬越讓他擔任典兵參軍和濟陰太守，祖逖也以為去世的母親守喪為理由拒絕了。
就在這年八月，匈奴左賢王劉淵趁中原混亂的機會，在汾河流域起兵反晉，建立政權，定都左國城（今山西離石東北）。為使他的起兵反晉更具有感召力，劉淵宣布匈奴劉氏是兩漢劉氏的外甥，公開祭祀“三祖”（漢高祖、光武帝、漢昭烈帝）、五宗（
漢文帝、
漢武帝、
漢宣帝、漢明帝、漢章帝），不祭祀匈奴單于，自己也稱漢王，在取得了一些軍事勝利后，西晉懷帝永嘉二年（308年），劉淵索性改稱皇帝，遷都平陽（今山西汾河西北），定國號為漢。劉淵病死后，帝位經長子劉和傳到了次于劉聰手里。劉聰在位時，對西晉發動了頻繁的進攻。西晉永嘉五年（311年），他派干將石勒、族弟劉曜等攻陷西晉京師洛陽，抓獲了晉懷帝（后晉懷帝在平陽被殺）。這時，西晉安定太守賈疋又在長安擁立秦王司馬鄴為晉愍帝。西晉建興四年（316年），劉曜又攻下長安，俘虜了晉愍帝，送到平陽，西晉最終滅亡了。
西晉統一政權滅亡后，中國再度分裂。由于中原無主，因此，黃河流域成為進入中原的北方各少數民族爭奪統治權、彼此廝殺的戰場北部中國出現了苦于政權迭立的混亂局面。因為參與這場爭斗的主要有匈奴、鮮卑、羯、氏、羌五個民族，建立的國家主要有16個囚此，習慣上把這一時期叫“五胡
十六國”時期。
自從西晉懷帝永嘉年間（307～313年）開始，直到五湖十六國時期，北部中國戰亂頻仍，兵連禍結。為了避難，中原地區的百姓紛紛向四周地區擴散。其中，一部分遷到了西北地區，一部分遷到了隴右地區，但更多的是渡江南下。當時，世家地主大多攜帶著宗族、部曲、賓客渡江避難，南逃到荊州、揚州一帶。一般民眾也往往跟隨著自己同鄉同里的的大戶人家一起南遷有時，跟著一個大姓遷徙的有一千多家，幾萬人，形成了一個個渡江南下的流民群，歷史上叫“永嘉南渡”。就在這場渡江南遷的潮流中，祖逖也率領親族鄰里數百家南下避難，移居到淮淚一帶。流徙的路上，祖逖熱心照顧同行的人，把自己的車馬讓給年老體弱的人乘坐，自己徒步而行。還把個人的糧食、藥物、衣服等拿出來分給大家用，和鄉親們同舟共濟，共渡難關。因此，受到鄉親們更深的敬重和擁戴。
他們光遷到泗口一帶。（今江蘇清江西南）剛到一個新地方，生活十分困難。而當地的地主官僚們卻仍然每天歡歌宴舞。一些一青年人看了憤憤不平，就幾個人合伙搶劫富豪人家的財物。又因此被官府抓去關進監獄祖逖知道了，總是千方百計地營救他們。他仗義疏財，體恤窮人。又有恢復中原故土的雄心大志，很符合那些背井離鄉的北方人的愿望因此，被流亡者推舉為首領。按照當時的習慣叫“行主”。這樣，在與人民
同甘共苦中，祖逖的威望越來越高一些有忐之士都來投奔他。許多勇夫猛士匯聚在他的周圍，成為后來北伐的軍事基礎。
當時，
司馬懿的曾孫司馬睿在建業（今江蘇南京）駐守。司馬睿本來是瑯琊王。永嘉年間，中原大亂。西晉的一此當權的官僚們，眼看兩晉的火亡已成了定局，因此，便想方設法把自己的子弟。親屬送到江南在，擔任地方官吏，占據一席之地，作為自己將來的一個退路。如宰相王衍巴他的弟弟王澄送到荊州做都督，又把族弟王敦送到揚州當刺史。司馬睿也在西晉永嘉元年（307年），以安東將軍、都督揚州江南諸軍事的身份，從下邳（今江蘇睢寧西北）移鎮建鄴，來到了江南西晉建興四年（316年），晉愍帝被俘虜，西晉滅亡了消息傳到南方，司馬睿自稱晉王。東晉建武元年（317年），他改稱皇帝，定都建鄴。為避晉憋帝司馬鄴的名諱，改建鄴為建康，建立了東晉政權。西晉末年，從北方渡江南下的司馬氏宗室共有五人，其中只有司馬睿一人在江南稱帝，坐上了皇帝的龍椅。所以，當時流傳著“五馬浮渡江，一馬化為龍”的諺語。
祖逖寄居在泗口哩，由于他有較高的聲望，因此，被晉元帝司馬睿任命為徐州刺史。不久，又證為軍諮祭酒，成為朝廷的主要參謀官員。此后不久，祖逖一行又從泗口遷居到了丹徒的京口（今江蘇鎮江）。當時，北方的西晉政權正處在匈奴劉曜的圍攻之中，朝不保夕。朝廷慌忙派人到南方，要求司馬睿帶20萬兵馬北上解救朝廷。司馬睿口頭上也講北上中原，收復失地。但是實際上，他只想做偏安江南的小皇帝，過安逸守成的生活。因此，對長安的呼救，他借口政權剛建立，江東需要安定，無暇北伐，斷然拒絕了。王導等人山只熱衷于經營河左的偏霸功業，糾纏于種種權力爭斗之中。其他南下的北方士族，都忙著多搶占一塊地盤，重新建立新的家園，關心江東政權內部權益的分配和爭奪，對北伐中原不感興趣。一些有識之士，像周嵩、熊遠等，雖然曾經向司馬睿提出過北上的建議，但是，都遭到貶斤。有的幾乎因此被殺頭。
祖逖住在遠離戰亂的京口，又做了不算小的官位，生活比較安定。但他忘不啊中原地區那些處在
水深火熱之中、飽受煎熬的父老鄉親，總是坐臥不寧，寢食難安。不久，他毅然上書司馬睿，請求皇帝派他北伐中原。他說：“現在，中原的百性飽受戰亂之苦，都有團結一致、抵御外侮的決心。只要大王下令出兵，派我去收復失地，中原的百姓就會紛起響應，國恥一定可以洗刷。”祖逖的建議既懇切，又堅決。司馬睿雖然并不熱心，但是為了鞏固政權，爭取民心，他勉強同意打出“北伐”的旗號。西晉建興元年（313年），司馬睿下令北伐，派祖逖做“奮威將軍”，仍然用“豫州刺史”的空頭銜，作為北伐軍的統帥，只給1000人的糧晌，3000匹布。不給十兵和武器，讓祖逖自己招兵買馬，制造兵器。這種派將出征只給糧餉，不給十兵、武器的做法，固然荒唐，但是，祖逖卻非常珍視這個來之不易的機會。
就在這年八月，祖逖欣然領命，整編了當年隨同他一起南來的鄉親們，率領著l00多家部屬橫渡長江，揮師北上。當船行駛到江心中游的時候，祖逖注視著滔滔東去的江水，想起門已多年農的報問夙愿終于有機會變成現實，下山得心潮澎湃，感慨萬千。他站在船頭上，用木漿在船舷上猛敲一下，發誓說：“我祖逖如果不能掃清中原凱旋而歸的話，就像大江的水一樣，有去無回！”這壯懷激烈的誓言，在水大之間錚錚有聲。在祖國處于危難之中的時候，他的堅強意里志和果敢行為給人們帶來了莫大的鼓舞。船上的人被祖逖的壯烈辭色所感動，大家同仇敵汽，斗志昂揚，決心
背水一戰，掃清中原。
