窮困不僅影響仕途，對婚姻也是一樣，百里奚直到而立之年才娶妻生子。他的妻子杜氏是個明曉事理的女人，深知夫君有雄才大略，便鼓勵他周游列國，尋找出人頭地的機會。臨別那天，妻子想為丈夫餞行，可家里已經揭不開鍋，只好到鄰居家借來一碗米，把家里僅有的一只下蛋母雞殺了，又把門閂劈了當柴燒，算是吃了一頓離別飯。
百里奚告別妻子，一路長途跋涉，卻仍四處碰壁，分別遭到齊國、宋國的白眼，都沒有得到重用。后來只落得靠乞討度日。在流浪途中，百里奚終于遇到了他生命中的第一個“貴人”蹇叔。兩人一見如故，相談甚歡，大有相見恨晚之意。后來他又回到虞國，遇到了他生命中的第二個貴人虞國大臣宮之奇。在宮之奇的舉薦下，他當上了虞國的大夫。但虞國國君生性貪婪，不聽宮之奇的勸告，在收了晉國的“垂棘之壁”、“屈產之乘”等厚禮后，就答應借道給晉國，讓晉國途徑虞國去征討自己的鄰國虢國，也是虞國的同姓兼同盟國。果不出所料，晉國在滅掉虢國后，在回來的途中順便把虞國也滅了。這就是歷史上著名的“假虞滅虢”“唇亡齒寒”的故事。虞國被滅掉后，百里奚和虞國國君一起作了晉軍的俘虜。
晉獻公是一個愛惜人才的人，他想重用百里奚，提拔他到朝中為官。但被百里奚嚴詞拒絕。公元前655年，秦晉兩家成為友好邦鄰，晉獻公把女兒嫁到秦國，百里奚被作為陪嫁奴仆一同前往。在迎親途中，他乘人不備逃到楚國。為了謀生，他以一件由五張羊皮縫制的皮襖的價格賣身為奴，為楚國人養牛。由于他養的牛膘肥體壯，拉起犁來毫不費力，因此出名并被楚王賞識，招來百里奚問道：“飼牛有道乎？”（養牛有秘訣嗎？）
百里奚對答：“時其時，恤其力，心與牛而為一?！?/b>（按其成長的不同階段而采取相應的對措，顧及它的體力不要過度使用它，摸透并依照牛的習性來使用它。）
楚王說：“善哉，子之言！非獨牛也，可通于馬。”（您說得好哇！不單是牛，這也適于養馬。）就又讓百里奚為其養馬。
秦穆公是個賢明的國君，聽說百里奚是個人才，就迫不及待地想把他從楚國挖來。起初打算用重金去將百里奚贖回來，秦穆公的謀臣公子縶說：“楚成王一定是不知道百里奚的才能，才讓百里奚養馬。若用重金贖，那不就等于告訴人家百里奚是千載難遇的人才嗎？”
秦穆公問：“那我該怎么樣才能得到百里奚？”
公子縶說：“可以貴物賤買，用一個奴隸的市價來贖百里奚。那樣楚成王就一定不會懷疑了?！?/b>
秦穆公聽從了公子縶的話，按一般奴隸的價格，用也是五張公羊皮把百里奚從楚國贖了回來。
但到了朝中，秦穆公看到百里奚已是滿頭白發，便有點失望。問：“年幾何？”（多大年紀？）
百里奚答“七十歲。”
秦穆公嘆道：“惜乎老也！”（可惜太老了！）
百里奚回答：“使奚逐飛鳥，博猛獸，則臣已老。若使臣坐而策國事，臣尚少也。昔呂尚年八十，釣與渭濱，文王載之以歸，拜為尚父，卒定周鼎。臣今日遇君，較呂尚不更早十年乎？”（如果讓我去追鳥捕獸，那臣是已經老了。如果讓我參謀國家大事，臣還年輕呢。當初姜子牙八十歲時在渭水邊釣魚，周文王用車接他回來，尊為尚父，終于奠定周王朝政權。我現在遇到國君您，比姜子牙不還早十年了嗎？）
秦穆公就留下百里奚，與他長談有關治國的方略及與鄰國的外交關系等等，這一談就是三天三夜。談話結束后，秦穆公就拜百里奚為上大夫，并打算把秦國的軍政大權都交給了他。但百里奚堅辭不受，而是向秦穆公推薦好友蹇叔：“蹇叔之賢，豈惟君未之聞，雖齊、宋之人，亦莫之聞也。然而臣獨知之。臣嘗出游于齊，欲委質于公子無知，蹇叔止臣曰：‘不可。’臣因去齊，得脫無知之禍。嗣游于周，欲委質于王子頹，蹇叔復止臣曰：‘不可。’臣復去周，得脫子頹之禍。后臣歸虞，欲委質于虞公，蹇叔又止臣曰：‘不可?！紩r貧甚，利其爵祿，姑且留事，遂為晉俘。夫再用其言，以脫于禍，一不用其言，幾至殺身，此其智勝于中人遠矣。今隱于宋之鳴鹿村，宜速召之?！?/b>（蹇叔的才能，不僅您沒聽說過，就是齊、宋兩國也不知道。但我卻最清楚。我曾到齊國想投奔公子無知，蹇叔阻止了我，于是我脫過了無知那場禍患；我又曾到周王朝想投奔王子頹，蹇叔又阻止了我，于是我又脫過了子頹那場禍患；再后來我回到虞國，為虞公做事，蹇叔還是阻止我，然而那時我太貧困了，得依靠那些俸祿過活，沒聽他的，結果就成了晉國的俘虜。可見我多次聽他的話都能脫離禍患，就一次沒聽卻幾乎沒命，說明此人的智慧勝過我太多了。他現在隱居在宋國的鳴鹿村，您應該速去召請。）
于是秦穆公派公子縶召來蹇叔拜為右庶長，拜百里奚為左庶長。因百里奚是秦穆公用五張黑公羊皮換回來的，故世人稱百里奚為“五羊大夫”。
百里奚拜相以后，一夜間榮華富貴。但他并沒有忘記自己的糟糠之妻，一邊忙于朝政，一邊派人四處尋找妻子和兒子的下落，結果都沒有找到。他以為他們母子已經不在人世，悲傷之余，在廳堂為他們立了牌位，且每日在靈前焚香、祭奠，從無間斷。
其實，百里奚的妻子杜氏尚在人間。虞國滅亡后，她不想作亡國奴，便帶著兒子四處逃難，后來輾轉來到秦國，靠給人洗衣度日。兒子孟明也已長大成人，每天和一群年輕人習武打獵，練得一身好武藝，也只是英雄無用武之地。
一天，兒子孟明在外面聽人說：“秦穆公用五張羊皮換回一個叫百里奚的相國……”回家后，就把這件事告訴了母親。杜氏深信這個百里奚就是自己的夫君，卻苦于沒有相認的機會。
后來，杜氏借相府需要一名洗衣仆人的機會進了相府。一天夜里，杜氏在園子里聽到隱隱約約的哭聲，便循著哭聲一路找來，竟來到廳堂前，她爬在窗戶上往里一看，只見一人跪于堂前，低聲咽泣，屋內香煙繚繞，桌子上擺放著一大一小兩個牌位。從舉止形態，她已經認出，此人就是自己的夫君。不知為何，杜氏卻并沒有馬上進去與百里奚相認，只是轉身消失在夜幕中……
后來，秦國在百里奚的輔佐下，國泰民安，一片升平。相國府也是笙歌笑語，歡樂無限。一次，百里奚在相府宴請百官，杜氏借機要求唱了一支曲，詞為：
百里奚，五羊皮。憶別時，烹伏雌，炊扊扅，今日富貴忘我為?
百里奚，五羊皮！父粱肉，子啼饑，夫文繡，妻浣衣，嗟乎，富貴忘我為？
百里奚，五羊皮！昔之日，君行而我啼，今之日，君坐而我立。嗟乎，富貴忘我為？
聽到這凄婉悲傷的歌聲，百里奚震驚不已，跑過來仔細辨認，正是自己失散多年的老妻。想當年自己離家時，妻子還是一頭秀發，如今卻是兩鬢斑白，不禁悲從中來，老淚縱橫。夫妻二人抱頭痛哭，在場的百官，也是唏噓不已。
在百里奚相秦期間，他勞不坐乘，暑不張蓋，內修國政，教化于民，禮賢下士，恩施于眾。在他死后，“秦國男女流涕，童子不歌謠，舂者不相杵。”
