1938年春,原活动在鄂豫皖边的红28军和鄂豫边红军游击队,改编为新四军第4支队。高敬亭任司令员,林维先任参谋长,下辖第7、第8、第9团和手枪团。全支队共3100余人,是新四军初期各支队中人数最多、老红军成分最大、战斗力最强的一个支队。4月,支队指挥机关进驻舒城东西港冲,部队展开于皖中舒城、桐城、庐江、无为地区,开展抗日斗争。5月12日,在巢湖东南蒋家河口伏击日军一股,取得新四军华中抗日的首次战斗胜利。接着,连续取得大小关、范家岗、棋盘岭等战斗的胜利,其中10月9日7团1营在舒六公路椿树岗突袭日军300多辆汽车的运输队,炸毁65辆,毙敌46人。
至1939年6月,第4支队发展到1.1万人,共作战90多次,毙伤日军1700多人,消灭、瓦解反动武装4000多人,是江淮抗战的一支劲旅,开辟淮南、皖江抗日民主根据地的主力军。本月,高敬亭被错杀,第4支队随即分编为第4、5支队,1941年2月改编为新四军第2师。