旅部住在龙亢河南沿河村子里。部队到达此片地区后，立即展开，打击津浦、淮河沿线的日伪军据点，清除被日军利用的反动会道门，发动群众，建立抗日民主政权，实行减租减息，限制高利贷，进行夏收秋耕，很快受到淮上人民群众的欢迎和拥护。
主力部队切了一大块留下后，黄政委下决心以后，静如处子，动如脱兔。
此时，田旅长、吴政委率领第2旅第5团先行进军皖东北，进驻双沟镇附近，配合该地区民兵歼灭伪军200余人，镇压了恶霸武装。
黄政委、韩参谋长率领纵队机关直属队、教导营，指挥第2旅第6团、第4旅第687团由安徽涡阳地区出发，离开豫皖苏根据地，穿过津浦路，抵达津浦路东的皖东北地区，在半城、魏营子、双沟镇一带，与田旅长、吴政委直接率领的第2旅第5团会合集结。
这时，豫皖苏边区党委一批干部及党校学员，也到达皖东北党政军领导机关所在地泗县张塘村。
8月9日，秦庆霖（注：时任白党安徽省盱眙县长兼常备旅旅长）部经临淮南下至管公店、铁佛寺，新2旅派出687团进击，令第5团堵击。
687团也就是老7团到皖东北后，在洪泽湖西南的管镇、仁和集与白党地方顽固势力王光夏打了一仗。
8月10日，老7团派了1个连护送黄政委赶往中原局驻地，与胡服会面。两人畅谈了3天，商量部队整编、建立地方党组织和政府、迅速东进等问题。
根据中原局的决定，所有涡河以北、津浦铁路以东我党领导之各部队，编为八路军第五纵队，以黄大将为司令兼政治委员。部队之具体编制，由黄大将决定呈报。
第5纵队军政委员会成立的时候，八路军尚无统一的具体规定，直到1941年2月7日，中共中央军委颁布军政委员会条例，规定各级军政委员会，由司令员、政委、政治部主任、参谋长等主要负责人组成，人数不超过5至7人，主席一般由政委担任。
第5纵队军政委员会名单是由胡服和黄大将商定的，因为黄大将兼第5纵队司令员、政委、政治部主任，所以可再安排一些部队的同志参加进来，其中除有原苏皖边区军政委员会主要领导成员之外，原八路军第115师苏鲁豫支队、八路军山东纵队陇海南进支队和新四军第6支队第4总队的负责同志都有参加，而黄大将带来的各旅领导干部则一位都没有参加。黄大将这样的安排顾全大局，有利于部队初期的稳定和团结，有利于苏北抗日根据地的开创、巩固和发展。
1940年8月下旬，八路军第5纵队在皖东北半城等地完成整编。原南下之八路军第2纵队司令部改编为第5纵司令部，韩继续任参谋长。
第5纵队下辖3个支队，共9个团、1个保安司令部(指挥地方武装)，共两万余人。
八路军第5纵队机构健全起来，由于缺少干部，部门设置仍以精简为原则，纵队部百余人，设有参谋处、供给部、卫生部，政治机关也逐步建立起来了。
原115师苏鲁豫支队编为八路军第5纵队第1支队，该部原第1、第2、第3大队分别改称第1、第2、第3团；
原344旅687团（第4纵队的第4旅老7团）和原新2旅的两个团（第4纵队的第5团、第6团）编为八路军第5纵队第2支队；
原八路军陇海南进支队1、2团和新四军第6支队第4总队11团合编为八路军第5纵队第3支队，原八路军陇海南进支队1、2团和新四军第6支队第4总队11团分别编为该支队第7、第8、第9团。
八路军第5纵队所辖3个支队来自不同地区，
1支队是苏区红军的老底子，作战英勇，保持了优良传统；
2支队装备较差，一路南下，长途行军作战，损失较大，部分主力留给了4纵，但他们的战斗意志仍然十分顽强，其中老主力第4团（687团），仍有1700人，战斗力较强。当地群众称之为老八路；
3支队战斗员较新，但与地方有历史联系，群众基础好，其中两个团装备不错，战斗力较强。
八路军第5纵队老同志很多，仅在各支队的卫生干部中，就有不少参加过长征的红军干部。
5纵3支队隆重召开成立大会时，黄政委、韩参谋长都去参加。韩参谋长和韦政委是长征中及“抗大”的老战友，现在又一起战斗了。
黄政委、韩参谋长检阅部队后，韦政委代表3支队讲话，表示感谢黄司令及韩参谋长亲临3支队成立大会，同时重申坚决服从纵队的领导，加强支队正规化建设，迎接新的战争形势的到来。
5纵队成立以后不久，就打了一些胜仗，虽然各支队的干部来自不同方面，但各支队首长之间的配合不错。与此同时，部队也存在一些问题，例如：
几支队伍的装备不同，干部的文化、政治水平不齐，战斗作风也不同，部分中下级干部缺乏指挥经验，少数干部全局观念不强，与地方或兄弟部队的配合不够，还有少数干部纪律涣散，有游击习气。
韩参谋长主持召开了纵队参谋工作会议，还按照黄政委的指示，到各支队针对上述问题进行沟通、整顿，和各支队首长一起，建立、健全作战制度，主要解决统一指挥、统一行动，以及部队战斗秩序正规化的问题。在大家共同努力下，5纵队的整顿工作收到良好效果。
在胡服和中原局的领导下，第5纵队部队整编工作结束后，韩参谋长就协助黄大将指挥八路军第5纵队，配合已经渡过长江北上的新四军1支队、2支队所部，东进淮海(包话淮阴、海州以及附近六七个县的区域)，进行“坚决争取控制全苏北”的斗争。