對于個性的發展，密爾認為個人沒有什么責任，關鍵在于外部社會和政府不能濫用權力和影響力，壓制個性的發展。一個社會中精英和杰出頭腦的數量，一定是與這個社會中行為乖張和怪癖的人的數量呈正比的。唯獨在這方面，密爾上升到了他所不太喜歡的價值領域——剝奪個性的發展，實際上是剝奪了一個人作為人的樂趣。缺乏個性，人作為人的能力也就凋零了，一句話——行尸走肉?！纱宋衣撓氲揭恍┨囟◢徫簧系娜?，即一個表情可以保持三四個小時不變，交流一個小時你也不會知其所想，知其所言，知其所好的那種人——scary。
任何制度或體制，如果不能容忍不同的人過不同的生活，壓垮個性自由發展，那么不論它是秉承了什么理念或上帝的意志，都是專制主義。專制主義最大的問題在于，它消滅了專制本身可以存續和發展的空間，社會機制變得不可改變不可撼動，最終只能通過全盤否定的方式被革命掉。
密爾指出，習俗是什么？習俗就是從前某個階段被視為標新立異的東西。人類道德、理性的動態就在于，不斷以創造性和探索性的發現來調整自己的經驗。不可否認，當前的英國是大多數循規蹈矩，遵從習俗的人所維系的，但當前的英國，一定是少數擁有創造力的人開創的，也必然需要依賴擁有創造力的人阻止它的衰落。習俗本身并不導致僵化和衰落，而當遵從習俗的要求開始壓制個性與多樣性時，衰落就不可避免了。
這方面，很不幸，中國成了密爾著作中屢屢舉出的失敗的例子，他一再提示大家不要陷入到中國式的停滯中去——這是在十九世紀中后期。我認為有必要復述他所說的，雖然他是觀察的十九世紀中后期的中國，但其中提到的觀點，對現在的中國也不無裨益：
我們有中國這個前車之鑒，中華民族富有才能和智慧，在很早起就配備了一套特別好的習俗，這是一些杰出的人物的貢獻，在這一點上，最開明的歐洲人也必須尊重他們。他們的不同尋常在于，他們能找到絕佳的辦法，把最佳的智慧傳遞到每個人的心中，并讓那些擁有最多智慧的人來占據職位和榮耀。能做到這一點，無疑他們中的杰出人士已經發現了人類進步的秘密，可是恰恰相反，中華民族變成靜止不動的了，維持現狀達一千年之久。他們的根本原因在于缺乏對自由、個性與多樣性的容忍度，用同樣的格言和規則來管制所有人的思想與行為。早期的中國，比現在的中國，擁有更大的個性和多樣性。中國衰落的根源，在于趨同性。他們為了維持帝國權力架構的穩定，寧可損失個性與多樣性，放棄進步……
這是密爾描述的十九世紀中后期的中國。看到這里，除了說四個自信，真不好說什么。
探討完思想自由、個性自由、個人聯合行動自由這三大主題之后，接著就是社會與個人，也就是權力與自由之間的關系了。與個性自由那章不同，這里密爾回復到了英國傳統的細膩、嚴謹、平和的論證方式。
他首先要定義什么是個人的，什么是社會的。個人是社會中的個人，因此必須遵循三個基本原則：第一，不可損害他人利益，第二，保護社會及他人所需付出的代價承擔自己的份額，就是諸如納稅、兵役這類必要的事務，第三，對他人或社會產生了損害，尚未達到法律制裁程度的，承擔道德和輿論的指責與監督。除此之外，都是個人行動自由的領域。
密爾花費了兩章的篇幅來逐一探討社會對個人權利的干預情況，這中間的交叉地帶非常之多，如環境問題、教育問題、公共安全問題等等，這些領域也正是專制主義或者集權體制用于反對自由主義的核心議題——密爾認為，秉持保護自我和他人這個基本原則，盡可能地把政府和社會所能覆蓋的領域縮小，這是維系社會和個人創造力與多樣性的關鍵。
政府干預要縮小到什么范圍呢？第一種情況，個人或社會辦理，比政府辦理更有效，更好，當然政府就不要管，這種情況很多，大多數市場領域的事情都屬于這個范疇；第二種情況，個人或社會辦理不一定比政府辦理更有效，但，政府還是盡量不要管，這種情況也很多，如慈善、區域性公共服務、陪審團制度等，密爾認為，讓個人自主從事這類公共性質的事業，可以增加對公共事業開發模式的試錯，可以激發更多公共事業自給自足地發展，而不是一味依靠財政供養；第三種情況，就是大家都普遍認為的，應該政府來管理的大公共范疇。即便是這個領域，密爾也主張盡可能縮減——因為不論意識形態，任何體制下的政府都有擴大權力，集中資源的傾向，而政府本來就是人構成，很容易淪為單一黨派操縱權柄和資源的工具——促使政府專制化和集權化，進而走向思想和言論自由、個性發展自由的反面。
密爾進一步預言：行政機器構建得越是高效和科學化，網絡能力最強的高手來操縱這個機器的安排越是精巧，其禍害就越大越深遠。如果一切社會事業都掌握于政府之手，如果最杰出的人才都進了政府機關，那么這個國家所有文化實踐產生的智慧，勢必集中于一個人數眾多的官僚機構，社會上其余的人勢必在一切事情上仰仗于政府，都要聽從它的指令，大家都習慣于政府給他們辦好一切事，責任與矛盾也就全部集中于政府。這樣，不僅社會群眾越來越缺乏自謀生存的能力，也越來越缺乏監督批評這個官僚機構的能力和方式。最終，政府自己也無力實施與官僚利益相反的改革。
這樣的政府時常會以民眾沒有能力為由來擴大權力，民眾則會因為政府無法解決一切事務而抱怨。這樣的國家不能經受一點風吹草動，必須嚴控一切可能的騷動，這就促使政府進一步鉗制自由。于是一旦矛盾累積到無可附加的地步，就會是劇烈的動蕩。——他是根據當時俄羅斯沙皇改革的失敗來推導的。
密爾是一個生活于十九世紀中葉的人，那個時候英國經濟正在蓬勃發展，逐步建立起世界霸權，大家一片高歌猛進、正能量和自信心爆棚的情況下，他能夠看穿這一切背后隱藏的專制化、集權化力量，并預言到這種力量在二十世紀可能導致的災難。
相反，那些民眾自由度較高的國家，因為人民習慣于自己處理事務。他以當時的美國為例，即便這個國家某一天中央政府沒有了，各個區域的美國人也可以很快建立一個新政府，接替原有政府的各項必要職能，整個社會依然會正常運轉——這一點我深有體會，美國社會自治程度之高，普通美國人動手能力、協作能力之強，你不去接觸是無法體驗到的。——聯想下疫情期間美國的現狀，我們嘲笑歸嘲笑，自豪歸自豪，反思下來應該看到，在總統和聯邦政府，甚至是部分州政府無所作為的情況下，美國社會基本完全是靠自治和協作來抗疫和維持正常生產生活的，抗疫這件事上效率顯然不如我們高，但美國的社會一切也一樣照常在運轉，這種機制最為顯著的特點是——社會成本、財政負擔顯著低于我們。
密爾進一步指出，這種國家一個顯著的優勢是，他們形成了一種結構，能夠把全國民眾的經驗和實際能力整合起來，越能充分發揮個人的才能，政府也越能汲取民眾的智慧。而不像集權國家那樣，分明地分裂為“無所不能”的政府，與“嗷嗷待哺”的民眾兩個層次，他們的目標不是個人的創造性才能和社會的多樣性，他們是把全體國民訓練為一個有紀律的整體，沒有差異，目標是實行統治，而不是人本身。這個體制越完整，則每個人就被禁錮得越深刻——統治者自己也一樣。
他最后甚至得出了一個近似于我們的老子，或者說佛學的觀點：越是嚴密監控、無所不干的政府，越難以達成對社會的治理；要實現對國家和社會的大治，政府就應當是放手與分散權力，為個人和社會騰挪可以發揮功能與試錯的空間，讓民眾的自治能力與智慧得到培育和提升。
我想，正因為盎格魯撒克遜體制能夠容納這樣的人，這樣的觀點的存在，才展現出了這種體制的魯棒性和持久性。
最后，引用這個一百五十年前的政治學巨人的兩段話：
從長遠看，一個國家的價值歸根結底是組成它的全體個人的價值，一個國家如果不致力于把個人智力的提升和擴張作為基本利益，而只求在管理技巧或事務細節中求得改進，一個國家如果致力于把人作為馴服的對象，造成個人智力上的發育不良，那么它會看到，自己不惜一切爭取到的國家機器完善，為了讓機器運轉良好而犧牲掉個人和社會活力，終將使得它歸于失敗。
真正的愛國者，不是按照統治者的意志去對群體施加壓力，而應該反過來，是要對統治者施加一些限制，這個限制，就是本國公民的自由。愛國者的目標是保證本國公民的自由，而不是相反。
從本質上來看，這是一種價值觀的差異——自由主義傳統把個人的創造力、個性與自由度，以及社會的多樣性視為價值本身，政府和法律機制都是為此服務的；專制主義傳統或者集權主義傳統，則把整體性、一致性、穩定性視為價值本身，個人與社會是服從和服務于體制的。沒有那么多戰略導向、國家利益和陰謀，價值觀差異是根本。
