據說義和團時期，日本海軍陸戰隊即以護僑名義開侵入上海之先河，1925年再次進入上海駐扎，6月在此地建立司令部。當時中日之間往來無需護照，在軍隊保護下日本僑民源源不斷涌入上海。一二八事變前，虹口地區居住的日僑已達30余萬，不少成為侵略軍的幫兇和細作。這座司令部在一二八事變次日被中國軍隊攻占，停戰之后，日軍拆除舊有建筑，決意興建“最新式最堅固永久性”大本營，形成今日面貌，司令部四周采用堅墻，內設2200平方米的操場，一層安置防御火器，屋頂設立的瞭望臺，樓內窗子都是射擊口，使整棟大樓看起來很像一艘向中國航行的鬼子航空母艦。八一三事變前，日本已動員在滬4000名海軍陸戰隊備戰，加上日僑“義勇團”合計武裝人員數目過萬。事變次日，中國空軍轟炸匯山碼頭、公大紗廠、出云號及此司令部，因濃云密布，命中率低。此后國軍發動進攻，但日軍憑借厚重工事擋住了攻勢。
上海光復后，1945年9月這里一度改為國軍的淞滬警備司令部，同年這里設為京滬衛戍總司令部，門牌號江灣路1號；12月份又遷移出至無錫。1947年3月份，京滬杭警備司令部遷移至此，變門牌號東江灣路1號。現在大樓外墻改為混沌色調，內有多家單位入駐，主要仍為軍事部門，一樓沿街門臉均被開辟為商業用房。
日本海軍陸戰隊司令部斜對面是東江灣路15號，這里曾經是侵華日軍在上海的海軍醫院舊址，原建筑已經全部拆除，現在舊址上建造的是中國人民解放軍第四一一醫院。
