孟子曾說：“食色性也，人之大欲存焉。”其實在中國儒學的最開始，對于人的欲望是很寬容的，更是把食和色放在人的正常需求之上，只不過儒學的發展在董仲舒之后越來越政治化、倫理化，隨著封建社會的發展，越來越服務于統治階層的意識形態，特別是發展到宋明理學之后，更有“存天理，滅人欲”之說，于是人們開始對自己的欲念感到懷疑。對于色的解釋，也有所不同。
《酒色財氣歌》里面就曾有一句話，“色是刮骨鋼刀，無色路斷人稀。”根據歷史考證，《酒色財氣歌》并不是一人所作，而是集體創作完成，體現了中國古代的集體智慧，這樣一來，也相對代表的是一個群體的意識，而不只是個人之所見。
《酒色財氣歌》有三個相關的故事，其中就包括大文豪蘇軾和他的好朋友佛印。
蘇軾和佛印關系非常好，在蘇軾貶謫期間，佛印也經常陪著她四處游玩散心，有一次在一座小廟的墻壁上看到一首小詩，內容是：“酒色財氣四堵墻，人人都在里邊藏，誰能跳出圈外頭，不活百歲壽也長。”這首詩傳達的人生觀念是有特殊的文化背景，因為佛教禪宗強調四大皆空，對于欲念的克制更是與常人不同，蘇軾是一個樂觀豁達開朗之人，他的樂天精神表現在對生活中快樂的追求，他并不贊同佛家這種無欲無求的觀念。
所以他就在這首小詩之后，另外題了一首詩，“飲酒不醉是英豪，戀色不迷是為高，不義之財不可取，有氣不生氣自消。”這樣一來，這首詩的境界就比之前的那一首高出了許多，他加進自己的理解之后，認為這四種事物，不需要直接拋棄割舍，關鍵之處在于個人能否克制自己的欲念，更好的掌控整個人生。
巧的是之后的宋神宗和王安石也曾經來過這座寺廟，自然而然就被這兩首有趣的小詩給吸引了。王安石也是才高八斗并且非常有自己看法的人，他對蘇軾的理解也不滿意，他又在蘇氏之下題了自己的小詩，“無酒不成禮儀，無色路斷人稀，無財民不奮發，無氣國無生機。”王安石對于世俗普通的欲念是持贊同的態度的，比不得蘇軾那么超脫自信，作為一個政治改革家，他始終關心民眾的生活需求，也始終關心國運盛衰。
后來，人們把這三首詩歌放在一起，組成了今天見到的《酒色財氣歌》，可以說是對酒色財氣最典型最深刻的理解。
我們看待事物要用辯證的眼光從事物的正反兩個方面出發，過于沉迷于聲色，自然容易造成身體的損耗和意志的消磨，但是如果不追求生活中的快樂，整個人也會喪失對生活的熱情和信心，這樣一來整個社會就會失去生機，整個國家也就會落后。
其實最重要的就是個人對于欲念的把持，我們要適當的追求快樂，幸福，但是，在追求之后，卻不能過于的沉迷于其中，要始終保持最開始的努力和上進。
