1939年3月，八路軍冀魯豫支隊司令員楊得志、政治部主任崔田民，率3000余名指戰員挺進魯西南，開辟新的抗日根據地。

冀魯豫支隊在魯西南特別是定陶縣“一天天坐大”，讓國民黨頑固派定陶縣縣長兼保安團長姚崇禮惶恐不安。姚崇禮向八路軍多次挑釁，并于1939年6月下旬公然殺害八路軍的多名干部。

面對姚崇禮的一再挑釁，楊得志忍無可忍。1939年6月29日一早，楊得志率部從曹縣東南揮師北上，當天下午就將定陶城包圍了起來。當日黃昏，八路軍向城內頑軍喊話，展開政治攻勢。30日上午，在勸降無果的情況下，楊得志命令攻城。

經過激烈的戰斗，冀魯豫支隊從城西門攻入城內，迅速向縱深發展。姚崇禮發現形勢危急，急忙命令騎兵隊隊長張明堂率兩個騎兵隊撲向西門，企圖將八路軍壓出城外。張明堂當即率領300多名騎兵一起朝西門殺來。已經攻入城中的八路軍見狀，一面派人請求后續部隊增援，一面搶占有利地形，準備迎敵。

張明堂的騎兵沖上來后，被八路軍一陣排槍擊退；再次沖鋒時，八路軍后續部隊攜帶機槍趕來增援，騎兵又被擊退。此時，姚崇禮化裝逃跑，張明堂只得帶著剩余的騎兵從東門突圍逃走。當日傍茒，八路軍占領了整個定陶城。

商丘日軍發現冀魯豫支隊的主力正在定陶后，就出動千余兵力，向定陶發起突然襲擊。冀魯豫支隊獲悉這一情報后，一面組織部隊掩護老百姓撤退，一面在曹縣北的程河、普連集一線和定陶城南豐莊悄悄布置了兩批警戒部隊。日軍剛過曹縣縣城，就受到了八路軍的阻擊。日軍在經過牛王寺附近時，一場激烈的伏擊戰打響了。

就在激戰正酣時，八路軍發現昨天被打敗的張明堂帶著幾十個騎兵沖了過來，于是連忙抽出一部分兵力，準備對付張明堂的騎兵隊。

誰知八路軍剛完成部署，日軍的背后卻突然一陣大亂。八路軍指戰員幾乎都不敢相信自己的眼睛，原來張明堂他們正向朝日軍連連射擊。日軍難以招架前后夾擊，只好奪路往定陶縣城方向拼命奔逃。

張明堂原本頗具愛國情懷，只是受到了姚崇禮“攘外必先安內”“江湖義氣”的欺騙為他賣命。在定陶戰斗中，他親眼目睹了八路軍紀律嚴明、作戰英勇，讓他格外欽佩；而姚崇禮的臨陣脫逃讓他對頑固派頓生厭惡。在目睹日軍屠殺定陶居民、而八路軍為了掩護家鄉百姓撤退而奮勇抗擊日軍時，張明堂立即帶領部隊向日軍背后發起突襲，協助八路軍作戰并取得了勝利。

牛王寺伏擊戰的勝利，是日軍侵入魯西南后遭受的第一次重創，極大地鼓舞了魯西南軍民的抗敵斗志，冀魯豫支隊的主力很快發展到7000人。在戰斗中，八路軍有32名指戰員英勇犧牲，忠骨就被安葬在牛王寺后。

張明堂騎兵隊經過牛王寺戰斗的洗禮，徹底同姚崇禮分道揚鑣。不久，張明堂以自己的騎兵隊為基礎，拉起了抗日隊伍，后來不幸被土頑武裝殺害。