楊振寧的兩任婚姻在有些人看來是不恥的，第一任妻子杜致禮是他的學生。師生戀在那個時候就是不被允許的，盡管楊振寧和杜致禮之間只相差八歲。而第二任婚姻則是與翁帆的忘年戀，兩者之間相差54歲，更是被一些人在后面指著罵。

楊振寧和杜致禮的故事有點像拍電視劇的感覺。1944年楊振寧在西南聯大附中擔任代課老師，那個時候的楊振寧22歲，杜致禮15歲。那個時候杜致禮就對楊振寧產生了好感，但并未說破。第二年楊振寧動身前往美國的芝加哥大學攻讀博士學位，取得博士學位以后進入普林斯頓大學高等研究所。

因緣巧合之前，在普林斯頓的一個中餐館中，楊振寧和杜致禮再次相遇。這一次相遇以后他們再也沒有分開，在1950年舉行了婚禮。這時候的楊振寧28歲，杜致禮21歲。

婚后楊振寧和杜致禮一共育有三個子女。長子楊光諾1951年出生，次子楊光宇1958年出生，女兒楊又禮1961年出生。說起長子楊光諾的名字還有一個小故事。楊光諾出生的時候，楊振寧按照中國的傳統寫信給自己的父親讓其給自己的孩子起名字，于是楊老就給自己的長孫取名叫做光諾。但不曾想到，幾年以后楊振寧就獲得了諾貝爾獎。就有人稱，楊光諾的出生給楊振寧帶來了好運。

可能是繼承了父親的優良基因，楊振寧的三個孩子在學業上都表現得很出眾，可以說每一個都是學霸的存在。唯一遺憾的是三個孩子中沒有一個子承父業，從事與父親相關的工作或者研究。

長子楊光諾畢業于美國密歇根大學，當時就讀的專業是計算機，畢業后從事過計算機方面的工作，后曾任紐約州西徹斯特縣財務顧問。現在已經退休在家養老了。值得一說的是楊光諾小時候還很幸運的跟愛因斯坦一起合過影，兩個不同時代的人出現在同一張照片中。

次子楊光宇大學畢業以后就任J.P.Marg財務公司化學工業分析研究員，是一位化學博士。不僅如此他對天體物理方面有很深的研究，尤其是對搜索行星有著敏銳的感知力，曾發現了很多小行星。可以說是一個很厲害的復合型人才。

小女兒精通多國語言，長大后從事的職業是一名醫生。相對于哥哥們的來說，她應該是混的比較差的，在美國的一個縣醫院里當醫生。

目前楊振寧的三個孩子都留在美國，不知道以后會不會像他們的父親一樣回來中國一家人團聚。

很多人不知道翁帆其實和杜致禮見過面，而且不止一次，翁帆當時還和杜致禮一起合影了，私底下杜致禮對這個年輕的女孩贊譽還是很高的。如果對比一下翁帆和杜致禮的照片，你會發現這兩個人還是非常相像的。

在杜致禮離去的十四個月后，楊振寧和翁帆正式的走到了一起。除了翁帆平常對他照料有加讓他心動以外，恐怕和杜致禮很相像也有關系吧