清朝光緒二十五年（1899年），南京辟為商埠，中外商人紛至沓來。光緒三十四年（1908年），滬寧鐵路通車；同年，以浦口為終點的津浦鐵路開工建設（1912年建成通車），下關地區成為水陸交通樞紐，商業日漸繁榮。然而，由下關通往南京城內的江寧馬路，漫長而又崎嶇不平，且常有劫匪出沒，交通極為不便。出入南京城，除了步行外，騎驢乘轎、坐馬車或人力車，既費時又不安全。光緒三十三年（1907年），時任兩江總督端方上奏清政府，修建南京市內鐵路。經批準后，委任江南商務局總辦王燮為工程總辦，聘請英國人格林森（galiensen）為總工程師，開始測量購地。當年十月，破土動工。次年十二月建成，共花費藩庫公幣40萬兩。宣統元年（1909年），一月，全線通車，取名為“寧省鐵路”。因其線路短、站距近、設施簡單、行車速度慢，俗稱“小鐵路”或“小火車”。“寧省鐵路”全長11.3公里（一說12.5公里），起自下關江邊，跨惠民河，由金川門入城，經三牌樓、丁家橋、無量庵，沿北極閣南麓，兩江師范學堂（今東南大學）后墻，越珍珠河后，在今太平南路東側南折，經過兩江總督署（總統府）東墻外，到中正街（今白下路）止。沿線設有江口（今長航客運碼頭）、下關、三牌樓、無量庵（后改名鼓樓）、督署（后改名長江路）、萬壽宮（后改名中正街、白下路）共6個車站。1910年，清政府在南京丁家橋舉辦“南洋勸業會”期間，又增設了勸業會站（后改名丁家橋站）。“寧省鐵路”通車初期，有英制機車2輛，頭等二等聯合客車2輛，三等客車6輛，貨車4輛，還有花車1輛、鐵質水車1輛。花車專供兩江總督出行使用；水車專供總督衙門到江邊汲水使用。“寧省鐵路”的開通，極大地改變了南京城南北的交通狀況。
1912年，“寧省鐵路”更名為“江寧鐵路”。1912年1月1日，孫中山由上海乘坐滬寧鐵路列車抵南京后，改乘市內小火車直達兩江總督署，就任中華民國臨時大總統。
1927年，“江寧鐵路”更名為“京市鐵路”。1936年，“京市鐵路”向南延伸3.8公里，與江南鐵路接軌。在延伸線上，增設了武定門、中華門兩站，這樣，全線增為9站。
南京淪陷期間，“京市鐵路”與江南鐵路合并稱為“南寧線”。由于日軍對鐵路只顧占用，不事修繕，所以損壞嚴重。抗戰勝利后，南京市政府接管了這條線路，仍稱“京市鐵路”。因無力維修，路況惡化，列車連續發生出軌顛覆事故。1949年，南京解放后，該鐵路改稱“寧市線”，有關部門對鐵路進行了維修整治。由于該鐵路縱貫全城，經過市區道口達30處之多，直接影響到南京市的交通安全和環境建設。1958年11月28日，經鐵道部批準修建的由堯化門到中華門的滬寧、寧蕪鐵路連接建成通車后，隨之拆除了在南京市內運行達50年之久的小鐵路。
今天，在南京西站附近，人們還可以看到當年殘存下來的一段鐵路。在老一輩南京人當中，還有不少人記得有關這條鐵路的傳奇故事
