耶路撒冷名稱的來源尚無法確定。在希伯來語中，Yerushalaim這個名字可以理解為yerusha（遺產）和shalom（和平）的合成詞。另一個比較普遍的解釋是它將《圣經》里兩個城市的名字結合在一起：耶布斯（Jebus）和撒冷（Salem，意“和平”）。耶布斯是希伯來人來到當地之前，迦南人為該城所起的名字；而撒冷這個地名出現在《創世紀》14章，是大祭司麥基洗德的住處，他為來到這里的亞伯拉罕祝福。
在阿拉伯文中耶路撒冷的名稱是??????或??????????。????的意思是圣地，在詞前加冠詞???成為??????，特指圣城耶路撒冷。同樣的，????意為房屋、住宅，???????意為神圣的（人）、圣潔的（人），兩詞合起來組成??????????則特指圣城耶路撒冷，字面意思也是圣人之家即圣地。
考古發現顯示，今天的耶路撒冷的開發可以追溯到公元前四千年。關于該市最早的文字記載見于前19世紀的埃及詛咒禱文和前14世紀的阿馬爾奈文書。
大約公元前1003年，以色列的第二位國王，大衛王，將都城從希伯倫遷移到耶路撒冷。大衛王對以色列周圍威脅以色列的民族發動了一系列軍事征服，成功擊敗非利士人，為以色列創造了一個安全的邊境。以色列從一個王國發展成帝國，其軍事和政治的影響力在中東急劇擴展，一系列小國像非利士、摩押、以東、亞捫和一些亞蘭人城邦國變為以色列的附庸國。以色列疆域西到地中海，東到阿拉伯沙漠，北到幼發拉底海，南至紅海。
大衛王死后，其寵妃拔示巴的兒子所羅門通過不太光彩的手段從他的長兄亞希尼雅手中奪取王位，并在登基后將其殺死。所羅門在即位后第四年開始，花費十年時間在城內建造第一圣殿。所羅門圣殿所在的地方是最后確知的約柜所在的地方，后來在猶太人歷史中一直具有重要地位（在一定程度上對基督教也很重要），也是猶太人崇拜的焦點。這座圣殿采用來自推羅的巖石及香柏建造，成為當地最重要的禮拜地，并取代其他地方的祭壇。到“第一圣殿期”末，這座圣殿成為全國唯一的宗教場所和朝圣的中心。
但國家在所羅門兒子羅波安即位后，由于民眾反抗他的統治，不久分裂為南北兩國，北國（十個支派）續用以色列王國名稱，先后定都示劍、毗努伊勒、得撒和撒馬利亞，而分裂后的南國（兩個支派）則稱為猶大王國，首都繼續在耶路撒冷。與南國猶大國不同，北國以色列人及撒馬利亞人不再受到宗教的約束。他們受原迦南住民影響，崇拜當地的宗教，與迦南異族通婚。北國的以色列人與南國的猶大人是對峙局面。
前722年，亞述征服北方的以色列王國。前607年，巴比倫國王尼布甲尼撒二世攻破耶路撒冷，年輕的國王約雅斤和大多數貴族均被擄到巴比倫囚禁。在西底家的領導下，耶路撒冷反抗巴比倫的占領，前588年尼布甲尼撒二世率領大軍圍攻耶路撒冷。18個月后，巴比倫軍隊占領并摧毀這座城市，城墻被毀，圣殿被焚，圣殿中大批的金銀器皿則被帶到巴比倫。尼布甲尼撒俘獲西底家，在他眼前殺了他的眾子，并且剜了西底家的眼睛，用銅鏈鎖著帶到巴比倫，史稱“巴比倫之囚”。
前538年，巴比倫之囚70年后，波斯帝國居魯士大帝滅亡巴比倫，允許猶太人回到猶太地重建耶路撒冷圣殿，圣殿重建工程在前515年3月（大流士一世在位第六年），也就是第一圣殿被毀70年后完成。接著尼希米又重新修建耶路撒冷城墻，使城市又恢復繁榮。此后600年間，猶太地先后是波斯、希臘和羅馬的一個省份，耶路撒冷則是猶太省的首府。在羅馬統治的前期，曾委任代理王大希律王進行統治，大希律王在位時擴建了圣殿。公元6年，猶太地直接歸屬羅馬統治。
公元66年，一次反抗羅馬的起義失敗后，羅馬軍隊圍困耶路撒冷，但是很快撤軍。猶太人本以為危機已經過去，不想公元70年，提多將軍率領的羅馬大軍再次圍困耶路撒冷達4個月25天之久，羅馬軍隊利用先進的裝備和攻城設施系統地拆除城墻，入城后拆毀了殿（只剩下部分墻基，即西墻）。由于正值猶太人的一個大型節日，城內糧食很快消耗殆盡，甚至出現人吃人的現象，圍困其間有大約110萬人喪生，97000猶太人被俘虜，很多被賣到埃及成為奴隸。到大約130年耶路撒冷沒有人居住，之后羅馬皇帝哈德良重建耶路撒冷城，但是作為懲罰措施，下令在希伯來歷埃波月九日，即耶路撒冷遭巴比倫和羅馬軍兵兩次攻陷的周年記念日（恰巧是同一日），將耶路撒冷徹底鏟平，在原址新建羅馬城市愛利亞加比多連（AeliaCapitolina），圣殿山上另建羅馬神廟；同時將所有猶太人趕出巴勒斯坦，禁止猶太人在耶路撒冷居住。400年間，猶太人不準進入耶路撒冷。
此后的5個世紀中，該市一直在羅馬帝國和拜占庭帝國的統治之下。4世紀，羅馬帝國皇帝君士坦丁一世控制該市期間，耶路撒冷變成一個天主教中心，建造圣墓教堂。當時，雖然仍然禁止猶太人居住耶路撒冷，但他們已經開始在每年的埃波月九日來到西墻前哭泣。在羅馬帝國分裂后的拜占庭帝國統治下，這座城市在天主教勢力中得到很好的保護。當時在宗教方面相對寬容，從5世紀開始，猶太人重新被允許住在耶路撒冷。
638年，阿拉伯帝國占領圣地耶路撒冷。在691年，阿拉伯哈里發阿卜杜勒-馬利克在登霄石，即圣殿山圣殿的原址上建造圓頂清真寺（薩赫拉清真寺）。傳說在這個地方亞伯拉罕準備以他的兒子作奉獻祭，《圣經》上記載他奉獻的是小兒子以撒（一譯“易司哈格”），穆斯林認為他奉獻的是大兒子伊希梅爾（一譯“以實瑪利”或“依市瑪耳”）。三個世紀后他們又在這里建造阿克薩清真寺。在穆斯林統治初期，在宗教上比較寬容，住在耶路撒冷的基督徒和猶太人在繳納人頭稅后，可以獲得自治權。但1010年，埃及的法蒂瑪王朝哈里發哈基姆下令摧毀耶路撒冷所有的基督教堂和猶太會堂。
1071年塞爾柱帝國在曼齊刻爾特戰役中大勝拜占庭，兩年后（一說五年后）再從法蒂瑪王朝手中奪得耶路撒冷，于是教宗烏爾班二世在歐洲號召十字軍為基督徒奪回圣城。1099年，第一次十字軍包圍了耶路撒冷，一個多月后的7月15日，耶路撒冷被十字軍攻占。十字軍進城后，屠殺了城內大多數穆斯林和猶太人，并在這里建立了耶路撒冷王國，穆斯林不準入城。1173年，一個來到耶路撒冷的人寫到，耶路撒冷是一座小城市，充滿了東正教教徒、亞美尼亞人、希臘人和格魯吉亞人，只有200名猶太人住在城市的一角。
1187年，埃及穆斯林蘇丹薩拉丁又重新占領耶路撒冷。1219年，大馬士革的蘇丹下令將城墻銷毀。
1228年-1229年，神圣羅馬帝國皇帝腓特烈二世組織第六次十字軍東征，通過與埃及簽定條約，重新得到耶路撒冷。1239年，他開始重建城墻，但不久它們又被拆毀。1243年，基督徒再次占領耶路撒冷，又重建城墻。
1244年，被蒙古亡國的花剌子模王朝在逃亡途中占領耶路撒冷，1247年，花剌子模被埃及人驅逐。1248年—1254年，教皇英諾森四世發動第七次十字軍，但無法奪回耶路撒冷。
1260年，埃及奴隸騎兵馬木魯克奪取耶路撒冷，該城的猶太人不得不逃到周圍的村莊避難。1291年耶路撒冷王國的最后一個據點阿卡城被馬木留克人攻陷，耶路撒冷王國不復存在。
1517年，奧斯曼帝國占領耶路撒冷，他們控制該城市直到20世紀，這時耶路撒冷重新開始繁榮，城墻和老城也被重建，城內任何宗教都可以存在，但奧斯曼帝國后來的無能統治機構使耶路撒冷的經濟陷入緩慢的衰退。到18世紀60年代，耶路撒冷的面積只有1平方公里，但已經擁擠不堪。居民開始在城墻外建新城。俄羅斯東正教會在城門外建造一幢大樓。首先開始在城外建造的當地居民是猶太人。其他人模仿他們的榜樣開始在城外西部和北部建造新的居民區。最后，這些居民區不斷擴大，連接到一起，成為新城。
19世紀初，耶路撒冷只有不足8000人口，但依然是一個對猶太教、基督教和伊斯蘭教都很重要的城市。城市居民分四個部分：猶太人、基督徒、穆斯林和亞美尼亞人。猶太人主要住在哭墻上方的山坡上（東南），基督徒主要住在圣墓教堂附近（西北），穆斯林主要住在圣殿山附近（東北），亞美尼亞人主要住在西南。雖然這個分化并不絕對，但后來它是英國管理時期（1917年至1948年）將城市分為四個區的基礎。各大宗教內部又包括許多教派，比如圣墓教堂同時歸希臘東正教、羅馬天主教、亞美尼亞教會、埃及教會和埃塞俄比亞教會使用，各教派之間互相沖突，以至于圣壇的鑰匙要交給一個“中立的”伊斯蘭家庭保管。
19世紀，耶路撒冷發生一些對這座城市產生長期影響的變化，它們的影響一直延伸到今天，而且是巴勒斯坦人與以色列對耶路撒冷爭執的根本。首先是從沙皇俄國、東歐和中東，不斷有猶太人為逃避宗教迫害而移居這里，這改變城市內人群的分配比例。最早的移民是極端正統派的猶太人，其中有一些是老人，他們回到這里，準備死后安葬在橄欖山上；另一些是年輕的學生，他們隨同家庭到這里來，等待救世主的來臨。與此同時，趁著奧斯曼帝國的衰落，歐洲殖民國家開始將它們的影響伸向耶路撒冷。這也是一個基督教復蘇的時期，許多基督教派派傳教士來到耶路撒冷來轉化穆斯林和猶太人，他們相信這可以加速耶穌再次降臨人間。最后，歐洲殖民主義與宗教熱誠也引起考古學家對《圣經》中所描述的地區，尤其是對耶路撒冷發生興趣。一些考古隊做了一些很引人矚目的發現，這就更加引起人們對耶路撒冷的興趣。
1917年，英軍中東總司令艾倫比將軍向土耳其發動總攻，取得耶路撒冷戰役的勝利，占領該城。當1917年12月11日英軍占領耶路撒冷時，新城已經形成一片錯綜復雜的居民區群，每個居民區有一個不同的種族構成。在英國統治下，這個發展繼續下去，最后，老城區演變為一個貧窮的老居民區。英國人規定耶路撒冷的建筑外表必須是沙巖做成的，來保護城市原貌。
1922年國際聯盟批準貝爾福宣言，委托英國托管巴勒斯坦，并幫助在該地區建立一個猶太國家[39]。托管時期該市西部和北部建起了新的花園郊區，并且建立高等教育機構，如希伯來大學創建于1925年。
隨著猶太移民的增加，他們和阿拉伯人的沖突也逐漸升級。在第二次世界大戰前夕的1939年，英國公布巴勒斯坦白皮書停止猶太人的移民，限制猶太人購買阿拉伯人的土地，準備把巴勒斯坦逐步移交給一個阿拉伯人占多數的當地政府，猶太人可在該政府管轄下高度自治。但是到戰后，由于從德國集中營里解放出來的幾十萬猶太囚徒偷渡來到巴勒斯坦的壓力增加，英國既無法妥善處理阿以矛盾，而拒絕接受猶太人大屠殺幸存者又遭到國際輿論的一致譴責，同時猶太人針對英國的暴力活動迅速升級，于是，在1947年2月15日，英國被迫宣布把巴勒斯坦問題轉交聯合國處理。在進行調查以后，11月29日的聯合國大會辯論巴勒斯坦問題，以33票對13票通過分立建國方案，對于耶路撒冷，則計劃成立一個聯合國管理下的特別國際政權，即不屬于猶太人國家也不屬于阿拉伯人國家的一部分。
1948年5月14日以色列宣布建國時，第一次中東戰爭爆發，戰爭結束時，耶路撒冷西部被新成立的以色列國占領，而東耶路撒冷（包括老城和西岸）被約旦占領。除英國和巴基斯坦外，其他國家都沒有承認約旦對耶路撒冷東部和西岸的占領。1949年，以色列和約旦簽訂停戰協定，劃定的停火線穿過耶路撒冷的市中心。此后直到1967年，東西耶路撒冷分別屬于約旦和以色列。1950年，以色列定都西耶路撒冷。
1967年4月7日，戈蘭高地的敘軍向以色列定居點開火，由此爆發了第三次中東戰爭。隨后不久，埃及、約旦紛紛參戰，就在敵人調兵遣將之際，以色列軍隊決定先發制人，結果埃及、約旦、敘利亞慘敗。戰爭從6月5日開始，共進行了六天，因此也被稱作六日戰爭。以色列占領了埃及控制的加沙地帶和西奈半島，約旦控制的約旦河西岸和耶路撒冷舊城，敘利亞的戈蘭高地共65,000平方公里的土地，數十萬阿拉伯平民逃離家園淪為難民，成為中東局勢仍不可收拾的根源，至今無法和平。以色列雖然于1982年把西奈半島歸還埃及，換取埃及承認以色列，但其他占領的領土以色列拒絕撤出，雙方形成多年僵局。
1980年以色列國會制定《基本法：耶路撒冷—以色列的首都》，確定耶路撒冷是以色列“永遠的和不可分割的首都”，而巴勒斯坦自治政府也宣布東耶路撒冷將成為未來巴勒斯坦國的首都。今天耶路撒冷仍然是以巴沖突的中心。
今天的耶路撒冷，不同文化、不同宗教、不同民族、社會不同階層，同處一城。老城雅法門以西的西耶路撒冷是現代以色列的核心地帶，而老城及其東、北、南三面的東耶路撒冷（1967年后以色列占領）則以巴勒斯坦人為主。最特別的地方是面積只有1平方公里，被一圈城墻所圍繞的耶路撒冷老城，其中又分為4個宗教與種族聚居區：猶太區、基督徒區、亞美尼亞區和穆斯林區，猶太教的西墻和圣殿山、穆斯林的圓頂清真寺和阿克薩清真寺，以及基督徒的圣墓教堂和苦路均位于耶路撒冷老城。
耶路撒冷是以色列和巴勒斯坦都宣稱的首都和政治、經濟、文化和交通中心，面積約176平方公里，人口85萬，是巴以地區地區最大的城市。耶路撒冷由老城(位于東耶路撒冷)和新城兩部分組成。其中，老城面積雖然只有1平方公里，卻坐擁三教的神圣宗教場所。
自1967年占領耶路撒冷以來，歷屆以色列政府奉行耶路撒冷猶太化政策，在耶路撒冷的東、南、北三個方向的巴勒斯坦土地上修建了一連串定居點，力圖把這些“衛星城鎮”并入耶路撒冷，以改變其人口結構。目前整個耶路撒冷的全部人口中有61％時猶太人，阿拉伯人則占37％，信奉基督教的阿拉伯人約1％。猶太人中，又有約20萬屬于極端正統猶太教（正統派最保守的一支），其他則分屬猶太復國主義支持者（錫安派）以及世俗化（不信猶太教或不可知論者）的猶太人。
然而由于耶路撒冷的宗教地位，依然是猶太人和阿拉伯人沖突的最大根源之一，也是巴以的主要矛盾。以色列憑借著著強大的軍事實力和科技實力在該地區站穩了腳跟，然而至今尚未建國的巴勒斯坦人卻四處逃難，即使住在耶路撒冷，也比較貧窮，沒有穩定的收入，享受不到較好的醫療、教育等等基本的基礎設施。如今美國宣布承認耶路撒冷是以色列的首都，這跟美國去承認科索沃、承認敘利亞反對派有何區別？美國就喜歡挑起地區沖突，就喜歡顛覆他國政權，就喜歡搞別國分離主義。倒是希望阿拉伯國家團結起來，宣布承認加州、德州、阿拉斯加州獨立作為反擊。以色列已經不再是剛建國的時候的弱者了，那時候得到全世界的同情和援助。如今，作為弱者的巴勒斯坦人，又有幾個國家同情？
