魯定公十二年的夏天，孔子開始清除魯國的惡臣三桓氏，那就是攬權亂政的季孫氏，叔孫氏，孟孫氏。要解除他們的武裝，拆掉他們養軍隊的三個城市。
他先讓子路去勸告季孫氏："邑有城池之固，家有甲兵之藏是最危險的事，臣下其所以會叛變，大多是由此而起，最好把城池拆掉。"季孫氏采納了他的分析，便自動把城池拆毀。而叔孫氏的力量最弱，不敢反對，也把藏兵的城池拆除了。最后剩下孟孫氏，由于家臣反對，不愿意聽命令，魯定公看他推三阻四，于是親率大軍制裁，可是沒有成功。
這件事情最感震驚的是齊景公，擔心孔子繼續執政，魯國一定會強大起來，就想了一個歪主意。他們挑選了八十個美貌善舞的女子，三十乘裝飾華麗的馬車，派人送給魯定公。并且買通了季桓子。魯定公聽信了季桓子的建議。收下舞女和馬車，以后便沈醉在美色和歌舞里，一連三天不處理國事。孔子眼看公權力不張，國君越來越荒唐，于是離開魯國，開始他國外十四年的流浪生活。
宋國之圍
中經過宋國的匡城，師生們忽然被一隊士兵給圍住了。后來一問，才知道當地人把孔子誤認為魯國的陽虎。因為孔子的模樣跟陽虎有點相像，而陽虎在匡城做過很多壞事。盡管孔子和弟子們否認，但是匡城的軍民都不相信，也不肯放他們走，弟子們非常緊張。
孔子叫大家不要沖動，并說："文王雖然已經死了，文化道統并沒有喪失，現在不都在我們身上嗎？上天如果真要滅絕文化道統，就不會讓我們能夠認知并且負起傳承的責任。天意既然不滅絕這個文化道統，那匡城的人又能把我怎么樣呢？"
說罷，坐下來和著琴聲歌唱，曲音從容不迫，士兵聽了便解圍而去。孔子師徒只好又折回衛國。
不如歸去
有一次，他們經過曹國，宋國，好不容易到了鄭國，大家走散了，孔子在城外等弟子到來。這時候，子貢在鄭國城里找老師，一個路人說："東門外有一位老人，他的額頭像堯，頸像皋陶，肩像子產，腰部以下比禹短三寸，那一副不得志的樣子，跟喪家的狗差不多，那大概是你的老師吧！"
后來孔子聽到子貢說起來，笑道："胡亂描述我的外貌，倒還不怎么樣，把我說成喪家的狗，可真是形容得好啊！"
孔子在陳國住了三年，正好遇著晉楚兩國在爭強斗勝，并且一再和吳國分別侵犯陳國，孔子實在待不下去，他感嘆的說："回去吧！回去吧！留在家鄉的那些孩子們，志氣都大，只是做事疏略一點而已，他們都很有進取心，也沒有忘記自己的初衷，還是回去吧！"
