蚌埠前线战斗正酣的时候，鲁南战场上双方也进入了白热化阶段了！
在鲁南作战的紧张时刻，蒋委员长亲率白崇禧副参谋总长、军令部林蔚次长等，由武汉抵达徐州前线，并召开了军一级高级军官参加的军事会议，对当前及今后作战问题进行了研究与交待。
并留白、林等在徐州组成参谋团，协助战区组织策划作战。
随后，白副总长等视察台儿庄之后，即调野炮1营、战防炮1连，铁甲车1列，归防守台儿庄的31师池峰城将军指挥，极大地加强了台儿庄主阵地的防守力量。
作为此战中日争夺的焦点，台儿庄的位置是极为重要的，这座小城位于峄县的东南，紧靠大运河向西拐弯处的北岸，是水陆码头。
尽管庄子不是很大，但是在庄的东、西、北三面周围约有4公里之坚实寨墙，并有寨门多处。在台儿庄以西约1公里的运河北岸，有通往矿区铁路的台儿庄车站。
此外从台儿庄向西至微山湖边韩庄这一段约40公里之大运河，以及在这一段运河南岸的柳泉、青山泉、贾汪、张山子、涧头、汴塘和在台儿庄以南的燕子埠山地，则构成了徐州以北、东北地区的双重天然屏障。
只要拿下台儿庄，日军西可以攻打徐州，东则是可以为威胁连云港，地理位置非常的重要。
敌63联队的第2大队，于3月24日晚突进台儿庄之后，经1夜激战被守军第31师将其逐出。因其伤亡较大，弹药消耗也多，即在台儿庄以北附近等待增援，作再进攻的准备。
25日晨开始，汤军团向枣庄附近之敌发起反击时，敌33旅团已没有多少机动部队，最后仅抽调约两个步兵中队、两门重炮，于25日的傍晚到达台儿庄增援。
但这两个中队刚到达不久，守军第31师即对其发起反攻，一直战斗到26日，日军第一次增援后，仍然无法发动进攻，要求继续增援。
日军第十师团第33旅团长濑谷启接到第2次要求增援的电报时，亦接到第10师团要其对台儿庄进行果断攻击的指示。当日濑谷决定由63联队长福荣真平率仅有的第3大队前往增援。
当27日福荣真平在前进的途中时，在台儿庄的第2大队已发起攻击，结果台儿庄东北角一段被其占领，但31师又很快将其包围。
福荣真平于27日从峄县出发，当天傍晚到达台儿庄以北约4公里的刘家湖，部署第二天的战斗。
当天早晨濑谷启已决定将第10联队也派往台儿庄，因汤军团在枣庄以东的郭里集附近继续发动猛攻，因而濑谷在27日夜间改变决定，令赤柴八重藏的第10联队不去台儿庄，改至郭里集附近。
而在台儿庄作战中，第5战区始终将主力置于鲁南山区的枣庄、峄县、临沂地区，并对敌发起连续地攻击，使临沂与枣庄、台儿庄之敌无法会合。
对台儿庄的正面则以重兵防守，以31师在台儿庄内及外围附近，此外战区司令部还命令第27师及独立第44旅在台儿庄东侧，第30师在台儿庄西侧，第110师除将运河防线向东延伸至顿庄闸之外，后期将防务交给第22集团军，该师则由万里闸渡至运河以北，在第30师的西侧，攻向台儿庄以北的北洛车站。8090中文.8090zw.
3月27日，第5战区在探知日军主力南下台儿庄之后，当即命令汤军团放弃攻击枣庄、峄县之计划，速以一部监视当面敌人，主力向南转移以歼灭台儿庄之敌。
第5战区根据敌于3月24日竟突进了台儿庄虽被逐出，但27日敌又攻入庄内的情况，为扭转这一不利局势，于27日向在台儿庄以南约6公里之韩佛寺的第2集团军总司令孙连仲下达了限期歼灭台儿庄之敌的严令。
3月28日福荣真平大佐63联队的两个步兵大队，开始对台儿庄进行了第3次攻击。
此时庄子外的日军之配属部队较多，有独立重机枪第10大队；轻装甲车第10中队；中国驻屯旅团战车队之临时战车中队（12辆）；野炮兵第10联队之第1大队；野战重炮兵第2联队之第1、第3大队；中国驻屯旅团炮兵联队的1个小队（15公分口径榴炮两门）；工兵第10联队的1个小队等等。其火力已大为增强，炮兵部队与步兵相比，已超过1：1，且有约30辆战车加入战斗。
由于日军极大的加强了城外部队的火力，因此这一次日军的进攻火力极猛，但守军还是没有放弃台儿庄的意思，除进行正面抵抗外，还从两翼对敌发起反击，进行牵制。
正因为如此，日军除了在傍晚的时候攻占了台儿庄西北的一角外，其他地区并无进展。
而守军为了反击敌人，则以迫击炮、山、野炮、重炮、列车炮轰击敌军阵地，支援步兵反击，使日军在28、29日两天的进攻，皆未获得其预期之结果。
29日，敌西尾寿造之第2军根据福荣真平联队在台儿庄受阻，以及汤恩伯军团之第4、第25师和第2师1个旅南下向台儿庄接近的情况，当日令第5师团在临沂的坂本顺第21旅团暂停对临沂的进攻，急速西进至台儿庄增援；同时令濑谷启率步兵第10联队至台儿庄，以图改变在该地的战局。
在临沂外围之坂本顺的第21旅团，也于当晚收缩战场，只留两个步兵大队在临沂附近就地坚持，其余4个步兵大队、两个野炮兵大队，在29日夜间向西南的台儿庄进发。
30日晨，敌33旅团长濑谷启率其第10联队与战车部队从峄县分两路攻向峄县东南的台儿庄，沿途遭到守军的连续阻击。
为了阻止日军第33旅团增援台儿庄，第五战区也是下了血本，在峄县到台儿庄沿途之道路不断地设立阻击阵地，短短几十公里的路程，以日军机械化部队的行军速度，最多三个小时就能抵达，但由于守军的阻击，却硬生生的耗费了二十多个小时，依旧没能抵达。
不过日军增援台儿庄的态度也是非常的坚决，这一点到是和蚌埠前线的日军一样，不管守军如何的阻击，日军还是不惜一切代价继续南下。
这一仗从凌晨一直持续到晚上十点多，第33旅团主力终于抵达了台儿庄以西约6公里的范口，但即便是如此，第33旅团依旧没能与庄子外的日军汇合，原因是第五战区在日军抵达前又将张金照第30师调到了范口，尽全力阻击第33师团继续向台儿庄挺进。
不过毕竟只有六公里了，庄子外的日军甚至于已经能听到双方在外围的交战声了，所以在台儿庄内东部地区的敌第63联队士气大振。
在知道援兵将至的情况下，第63联队上下士气如虹，在空军支援下，便连续向台儿庄里面的守军第31师发动猛攻，于晚间攻占到庄南的运河北岸，台儿庄被其分割。
但是庄内守军第31师在池峰城师长的指挥下，利用民房、巷口、街道、院墙及工事奋力抵抗，勇猛杀敌，与敌在庄内展开了激烈的拉锯战。
日军则由空中配合并以若干平射炮进行短距离的直接射击，以图封锁和破坏守军的火力点与一线阵地，战斗进入了短兵相接的阶段。