1947年3月起，國民黨軍在全面進攻失敗之后，開始對我軍發動重點進攻，集中主要兵力對延安和山東兩個方向發動重點進攻。1947年5月，在山東戰場上，由陸軍總司令顧祝同在徐州設立司令部統一指揮，集中24個整編師編成3個機動兵團共45萬大軍，對我華東野戰軍所在的山東根據地發動進攻。
此次作戰中，國民黨軍的主力是湯恩伯率領的第一兵團，下轄八個整編師共20個旅20萬大軍，號稱是五大主力之首的整編74師也在其中。但是張靈甫并不聽從湯恩伯的命令，他立功心切，違背了戰前加強縱深、密集靠攏、穩扎穩打、逐步推進的戰法，自己率領整編74師孤軍深入，追著華野窮追猛打，華野一退再退，各級將領都憋著一肚子氣，最后粟裕終于下定決心將整編74師全部殲滅。
其實在粟裕調兵遣將的時候，張靈甫就意識到了粟裕的行動，但他卻認為這是一個好機會，想以整編74師為誘餌吸引華野主力，最后等國軍主力來援，將華野全部包圍。張靈甫的這一想法是得到蔣介石認可的，因為當時在張靈甫附近有國民黨軍的四十多萬部隊，最近的只有不到10公里，最遠的也就是兩三天的路程。
1947年5月12日凌晨，粟裕作出了在敵重兵集團密集靠攏的態勢下，從其戰線中央割殲整編第74師的部署：以第1、第4、第6、第8、第9縱隊和特種兵縱隊擔任主攻；以第2、第3、第7、第10縱隊擔任阻援；另以地方武裝牽制各路援敵和在臨沂及臨泰公路沿線敵之后方襲擾與破壞。
此次戰役，華野出動的陣容十分豪華，攻打整編74師的五個步兵縱隊中，一縱，四縱，六縱，九縱這四支部隊是華野攻堅能力最強悍的部隊，官兵的戰斗經驗十分豐富。華野出動的將領也十分豪華，陳士渠，葉飛，韋國清，何以祥，陶勇，王必成，成均，王建安，許世友，宋時輪，聶鳳智，陳銳霆等將領全部出動，后來淮海戰役由于種種原因，也沒有出動這么多的將領。
戰役剛開始，粟裕就近調動華野的1、4、8、9四個縱隊從74師的兩翼迂回楔入，“猛虎掏心”，將之與兩側的25師和83師隔離開來并對外阻擊兩師。同時，之前隱伏于魯南的華野6縱“飛兵激渡”，一日夜長驅奔襲垛莊（張靈甫74師后方基地），徹底完成針對74師的包圍圈。10縱插入新泰阻擊5軍，3縱插入蒙陰北方狙擊11師，2縱和7縱在左側阻擊7軍和48師，其他地方部隊竭力阻擊國民黨軍的援軍，戰斗開始后，粟裕手里已經無兵可用了，他心里也知道這也一個非常冒險的行動。
幸運的是，當時國民黨軍人數雖然眾多，但是國軍內部派系斗爭十分激烈，戰斗開始后，除了黃百韜，胡璉等少數將領拼死支援外，其他部隊，尤其是中央軍部隊都按兵不動，看著整編74師和華野五個最能打的縱隊死拼。華野用了整整三天的時間，將這支國軍頭號主力部隊全部殲滅，張靈甫被擊斃。
