漢武帝北伐匈奴，只是漢朝的局部戰爭，死傷人數也不是很多。漢朝人口減少，其實要從高祖劉邦說起。
漢高祖劉邦為恢復人口，還曾收取單身稅，規定女子十五歲未婚，每年收稅120錢，而且會累加，年紀越大收的越多，最多是600錢。
那么漢朝為何人口減少呢？其實還要從以下三個方面說起。
漢朝是接手了秦二世丟下的亂世，秦朝兩位皇帝，都大量征用勞役，比如修萬里長城、修秦直道等。所以死于苦力的百姓就不計其數，再加上秦朝刑法嚴酷，也有不少人死于刑法。
而秦朝末年，天下起義軍很多，就是一個混戰的局面，自然也是死傷了不少百姓。等到楚漢之爭劉邦取勝后，他所建立的漢朝，真的就是一個殘破不堪的中華大地。
就是在這種情況下，劉邦才下令收取單身稅，來逼迫女性早日結婚，恢復人口。其實單身稅在漢朝后來的幾位皇帝中也有施行，比如漢惠帝，將單身稅增加到劉邦時期的五倍。
在漢武帝之前的幾位皇帝中，其實都是采取休養生息的政策，來恢復人口，壯大實力。那時候，為了能有一個和平穩定的環境，他們采取與匈奴和親的辦法，來安定北方邊境。這才有了后來“文景之治”的局面。
到了漢武帝時，漢武帝不想再讓皇族女子與匈奴和親，于是籌劃與匈奴的戰爭。在北伐匈奴的戰爭中，漢朝軍隊死傷十幾萬，其實更大的隱患是女子獨居，才導致人口銳減。
對于古代一個國家來說，一場戰爭死傷十幾萬人，雖然有些心痛，他也不至于人口大規模減少。但是，戰爭前線的都是男性，女子獨居家中，生孩子不是女人一個人的事情，女性獨居，導致漢武帝時期，人口出生率很低，在出生率很低，死亡率增高的情況下，人口自然會減少。
《漢書·賈捐傳》中記載，漢武帝時期的賦稅既不是按照每家每戶收，也不是按照耕地面積收，而是按照人口來收的。這樣一來，家中多一個人，就意味著要多交賦稅，這無形之中增加了家庭負擔，所以很多家庭不愿意生孩子。
此外，漢武帝長年北伐，戰爭就是花錢，那些北伐的軍費都是從百姓身上來的，百姓賦稅自然比以前重多了，多一口人家中就多一個吃飯的，甚至有可能是多一個餓死鬼。因此盡管漢武帝鼓勵生育，當時百姓很多還是不愿意要孩子。
漢朝積弊已久，而漢武帝又窮兵黷武，這才導致漢朝人口銳減。
