張麗華是陳后主的寵妃，是江南有名的長發美女。隋軍攻取建康后，楊廣立即派人向看押陳宮婦女的隋朝老將高颎索要她，高颎以為她乃是亂國的禍水，不僅沒給，而且立即將張麗華殺了。楊廣對此，銜恨至今。
楊約道：“此事早已過去多年，何必提起？”
楊素道：“由小知大，見今知遠。只怕他當上皇帝，比當今太子也好不到哪里。”
楊約道：“只要能長保咱家的富貴，管他好壞呢！”
楊素道：“他未必是個以德報德的人，我擔心的也正是這一點。”
楊素一生，歷仕兩朝，什么樣的人沒見過？什么樣的事沒經過？他自然比楊約想得深，看得遠，認得準。只可惜貪欲勝過了智慧，他沒有能夠作出正確的決斷。后來，楊廣上臺，第一個遭到滅族之禍的，便是楊素一家，這是后話不提。
聽楊素這么一說，楊約不禁有些失望：“看來兄長是不想管了？”
楊素搖了搖頭說：“既然他已經找到我們頭上，不管豈不更糟？”
楊約這才高興地說：“皇后之言，主上無不聽從。兄長既然肯于出面，何不先從皇后入手！”
過了幾天，楊素到宮中侍宴。席間，他屢次提到晉王仁孝謙恭，以此來試探皇后。獨孤后哭著對他說：“你說得很對，我這個兒子非常孝順，每當和人說起自己遠離父母，都痛哭流涕，不像太子終日和云妃歡宴，專門親近小人，猜疑兄弟。我之所以越發疼愛晉王，是怕太子要暗算他。”說著，他給了楊素一些金子，讓他勸說隋文帝廢掉楊勇，改立楊廣為太子。
楊勇多少知道他們的密謀后，非常恐懼，不知如何是好，時常有反常表現。隋文帝讓楊素去查看楊勇動靜。楊素來到東宮，故意拖延時間，讓楊勇等了許久。見面后，楊勇不免埋怨他一通。楊素回來對隋文帝說：“太子怨望，恐有他變，應該加以防備。”隋文帝聽了，對楊勇更加疏遠。
獨孤后時常派人窺視東宮，搜集丑聞，然后添油加醋地向隋文帝報告。
楊廣又令親信段達收買東宮近臣姬威，讓他誣告太子圖謀不軌。
在獨孤后的屢次勸說之下，隋文帝終于拿定主意。開皇二十年十月，隋文帝在武德殿召集諸王和文武百官，當眾宣布廢掉楊勇，改立楊廣為太子。
楊勇被廢后囚禁在東宮，隋文帝令太子楊廣看管他。楊勇自以為廢非其罪，屢次要求面見隋文帝申訴冤情，都被楊廣阻止。楊勇于是爬到樹上大喊大叫，想讓隋文帝聽到后接見他。楊素對隋文帝說，楊勇被癩鬼附體，已經神志昏亂，不可救藥了。隋文帝竟信以為然，楊勇從此再也沒見過隋文帝。
仁壽二年（602年）八月，獨孤后病死。當著隋文帝及宮女們的面，楊廣哭得死去活來，好像非常傷心。但回到自己的私室，飲食言笑和平常一樣。
獨孤后和隋文帝的感情很好，對他看管得也很嚴，限制他親近妃子和宮女。一次，隋文帝見到一個宮女長得很美，就住在她那里。獨孤后知道后很生氣，乘隋文帝上朝時，把那個宮女殺了。隋文帝聞訊大怒，騎馬從后苑跑出，信馬由韁，深入山谷二十多里。經高颎、楊素等大臣扣馬苦諫，半夜才返回皇宮。他曾嘆息著說：“我貴為天子，而不得自由！”
這回，獨孤后死了，沒有人看管他了。他便縱情聲色起來。無奈歲月不饒人，六十多歲的隋文帝，終因縱欲過度病倒了。
仁壽四年四月，隋文帝臥病仁壽宮。七月，病情加重。這時，他才有些后悔，對身邊的侍者說：“若是皇后還健在，我不至于此。”
隋文帝自知不起，乃召太子楊廣入居大寶殿，隨時侍奉。楊廣拜見父皇，故作愁容，詳問病狀，隋文帝略略相告。尚書左仆射楊素、兵部尚書柳述、黃門侍郎元巖等也都入閣侍疾。隋文帝與眾臣握手辭決，自言兇多吉少，眾臣皆出言相慰。
