1938年，八路军115师挺进山东，到1939年11月，经过八千里路的“小长征”，到达山东。中途打了400多仗，牺牲2000多人，但又有3000多青年参军，最后建立了抱犊崮山根据地。
1938年9月初，中共峄县县委和115师政委罗荣桓，决定对一些民间抗日武装实行统一领导。这是运河支队成立的关键因素。中共峄县县委成立，纪华任书记。县委决定把峄县一带的一些抗日武装整合起来，纳入共产党的直接领导之下。县委派峄县民众抗日总动员委员会主任朱道南去做联络工作。朱道南首先联系了孙伯龙、邵剑秋两支武装。他们同意改编为八路军。然后朱道南向115师政委罗荣桓汇报。在这同时，运河大队大队长胡大毅，向八路军115师后方司令部司令员胡大荣汇报了运河大队有关情况，并建议编入115师。
罗荣桓听了朱道南的汇报后说：“运河地区，临近徐州、枣庄，西傍津浦铁路，南靠陇海铁路，历来是兵家必争之地，日军和国民党军队都很重视这个地区。宋太祖赵匡胤说过：‘卧榻之侧，岂容他人鼾睡’。一旦在这里树起八路军的旗帜，这里必然会成为敌伪顽我激烈角逐的地区之一。我们要把靠近我党的国民党游击队编为八路⺁这就是对蒋介石反共投降政策的一个有力反击!又木我们的抗日军民也是一个很大的鼓舞。我们的部队要敢于在日本鬼子头上跳舞。只要我们的党，我们的军队在这里扎住了脚跟，抗日烈火就会在整个山（抱犊崮）外运河地区燃烧起来。”
罗荣桓说：“我们不要怕队伍复杂，关键要有骨干去带领。眼界要放宽一些，不要局限于峄县。”
1939年10月，峄县县委领导的峄县坑敌自卫总团特务营近四百人，改编为峄县八路军第十四区队，孙斌全为区队长，张力平为政治教导员，谢绍唐为副区队长，褚雅青为参谋长。上旬，邵剑秋部一中队、三中队先后化装日军，进入临城附近之种庄和利国驿附近岳庄伪乡公所，将种庄伪乡长种化楚，岳庄伪乡长权轩宇及其所辖乡汉奸队各数十人全部生擒。
中旬，115师后方司令部成立陇海南进支队。峄滕铜邳办事处及运河大队，改为115师后方司令部建制。
本月，115师师部派出以师政治部民运部长潘振武为团长的工作团，到达峄县帮助县委开展工作。本月，日军修通了枣庄经台儿庄到陇海路赵墩车站的铁路线，并在沿线泥沟、车辐山、赵墩等车站驻了日军，对运河等南北之抗日武装造成“井”字形包圈。
11月上旬，在抱犊崮山区千佛崖附近的仓浪渊召开峄县各界人民代表会议，成立峄县抗日民主政府，选举潘振武为峄县县长。中旬，115师后方司令部胡大荣司令，率领部队主力一部，过临枣铁路到运河南涧头集一带活动，乘反共顽固分子梁继璐、刘毅生不备，歼其一部，大灭其反共气焰。115师后方司令部胡大荣司令听取了胡大毅和峄县县委关于第十四区队和运河大队情况的汇报，研究部队整编问题。115师峄县支队成立，潘振武兼支队长，纪华兼政委，孙云亭为副支队长，陆成道为参谋长，赖国清为政治处主任。
1939年12月，115师政委罗荣桓在驻地大炉村，先后数次听取了朱道南关于山外抗日部队情况的汇报，和把孙伯龙、邵剑秋、胡大勋、孙斌全等部组编为八路军的建议。罗荣桓政委同意了组建运河支队的计划，并作了重要指示。12月，运河两岸的四支抗日武装就统一起来了，罗荣桓命名为运河支队。这四支游击队是：孙伯龙的特务旅，邵剑秋的一个团，胡大勋的运河大队和独立营，孙斌全的一个区队。总计1500人。
115师政委罗荣桓在驻地大炉村，先后数次听取了朱道南关于山外抗日部队情况的汇报和把孙伯龙、邵剑秋、胡大勋、孙斌全等部组编为八路军的建议。罗荣桓政委同意了组建运河支队的计划，并作了重要指示。1940年1月1日，八路军115师师首长在周营镇正式发布组建运河支队的命令：115师运河支队成立，同时组成运河支队第一大队，下辖一、二、三、四、五中队。朱道南为运河支队政治委员，邵剑秋为运河支队副支队长，胡大勋为运河支队参谋长，文立正为运河支队政治处主任。同时组成运河支队第一大队，下辖一、 二、三、四、五中队，并公布了第一大队领导的任命，大队长邵子真，政治委员王福堂，副大队长王默卿，全大队约500人，活动在运河南岸的十四区队和运河大队合并工作。
接着，115师政治部先后派红军干部王福堂、钟连祥、王广汉，杨荣、周振东和抗大毕业的学生郑林昌、傅秀亭等十人到运河支队工作。运河支队辖两个大队，1200多人。一大队长邵子真，政治委员王福堂，副大队长王默卿；二大队长孙斌全，政治委员宋学敏，副大队长胡大毅，参谋长王福堂，政治部主任钟连辉，副主任陈诚一。
1月25日，铁道游击队在枣庄正式成立，任命洪振海为大队长，杜季伟为政委，王志胜为副大队长。
运河支队和铁道游击队的建立，使驻徐日军和伪顽势力感到十分不安，他们串通一气对付这两支抗日力量。
1940年元旦过后不久，日军为扑灭鲁南的抗日烈火，驻徐日军纠集了贾汪、台儿庄以及枣庄日伪军，从徐州、枣庄、临沂、兖州等地调兵遣将，准备对鲁南抗日根据地进行大扫荡。
为了牵制敌人，给八路军主力部队作战造成有利条件，运河支队首长决定把一大队撤到运河南岸同二大队汇合，运动作战，伺机袭扰敌人。
运河支队奉命在运河两岸的贾汪、利国驿等地展开游击活动，以拖住敌人，配合鲁南山区的反扫荡斗争。
部队隐蔽地进驻运河南岸的涧头集地区。
运河支队一大队奉命由运河北进到运河南配合二大队对敌进行袭扰活动，以牵制敌人对抱特崮山区的扫荡。