毛泽东把淮海战役计划拟好后，请周恩来、朱德、任弼时、刘少奇审定。
周恩来说：“这个计划很周到，可以按预定的时间发动。徐东如能顺利完成分割，包围住黄伯韬兵团，则中原野战军主力乘势南下津浦线，出敌不意，攻占徐南之宿县，切断徐州与蚌埠之间联系，那整个徐州守军就会成为瓮中之鳖。”
朱德说：“只要首战完成中间突破，在徐东包围住黄伯韬兵团，则徐州敌人的部署必然大乱，那时，就会被我们牵着鼻子走。”
毛泽东道：“歼灭徐州集团最大难处，是它太靠近南京的大本营，分割比较难。从目前徐州敌人的守备态势来看，蒋介石对于究竟是守徐州还是守淮河，仍在犹豫不决，举棋不定。利用敌人部署未定之机，集中力量分割徐东黄伯韬兵团，是最好的一着。”
五大书记商定后，由周恩来拟定发动淮海战役的指示，以中央军委和毛泽东的名义电令华东野战军、中原野战军司令部：“这一战役按计划坚决执行，非有重大变化，不要改变计划，愈坚决愈能胜利！”
朱德建议电告华东野战军前委：“要放手大胆地打，要坚决、勇猛，不要怕伤亡，不要怕打乱建制，第一仗一定要吃掉黄伯韬兵团，决不能让它溜掉！”
陈毅、邓小平根据中央军委的命令，指挥中原野战军4个纵队，于10月21日首先向郑州、开封蒋军发动进攻，3天内解放了两城，歼敌1万余人。接着挥师东进，以4个师的兵力，向驻商邱守敌发起进攻，以牵制邱清泉兵团东援，并准备在徐东黄伯韬兵团被围后，出敌不意，神速南下至徐、蚌之间，攻占宿县，切断徐州蒋军同蚌埠之联系。并以1个纵队向涡阳进击，1个纵队向蒙城进击，分别阻击黄维兵团和孙元良兵团向徐州增援。
粟裕代表华东野战军前委向毛泽东和中央军委请求，让已在中原野战军总部的华东野战军司令员陈毅和中原野战军政委邓小平负责淮海战役的统一指挥工作。陈毅在中原的职务是：中原野战军副司令、中原局第二书记。毛泽东让他负责调节中原、华东两大野战军协同作战以及地方党政工作。是时，中原野战军的任务是将国民党华中“剿总”的张淦、黄维、宋希濂的3个兵团引向豫西，好让华东野战军在豫皖苏鲁有所作为。
毛泽东和中央军委同意粟裕的建议，乃由中央决定成立淮海前线司令部和总前委。刘伯承为淮海前线总司令。总前委委员会由邓小平、刘伯承、陈毅、粟裕、谭震林5人组成，由邓、刘、陈任常委，邓小平为书记，前线司令部和总前委统一筹划和指挥淮海战役作战。毛泽东向前线司令部和总前委发出指示说：“淮海战役为南线空前之大战役。此战役胜利，长江以北局面即可大定。”
11月5日，粟裕、谭震林根据淮海战役第一阶段的作战计划，命令华东野战军16个纵队，40多万人马，兵分4路，在西起单县东至赣榆700余里宽的地区浩浩荡荡地向徐州蒋军防区进击。
第一路（左翼）为苏北兵团，由兵团司令韦国清统领，共3个纵队8个师的人马，由赣榆县向南朝阿湖镇前进，准备切断黄伯韬兵团向海州、连云港东逃的去路，并配合苏北地方部队向海州、连云港发起进攻。
第二路（中路）为华东野战军总部，由粟裕、谭震林统率，共7个纵队，20多个师人马，由临沂南下，向黄伯韬兵团驻地新安镇疾驰，突击包抄黄伯韬兵团，并断割它与李弥兵团的联系。
第三路（右翼）为山东兵团，由许世友、王建安统领，共3个纵队9个师人马，由滕县南下，直插徐东陇海路大许家车站，切断黄伯韬西逃去路，并阻击徐州蒋军东援。
第四路（徐州西北一路）为华东野战军孙继先、丁秋生的第三纵队，曾生、雷经天的两广纵队，加上冀鲁豫独立旅共7个师人马，配合中原野战军主力向徐州西南进击，以拖住商邱的蒋军邱清泉兵团东援，以便徐东各路人马完成对黄伯韬兵团之包围。
震惊中外的淮海大战的战幕拉开了。华东野战军16个纵队，中原野战军7个纵队，加上各地方部队，共计60多万人马，在纵横700余里的淮海战场上，协同动作，从11月6日起开始，按毛泽东制定的淮海战役第一阶段的作战计划，分别向各自预定的目标发起攻势，声威震天。
蒋介石焦急如焚，他一面责成华北“剿总”总司令傅作义部署兵力挡住东北解放军入关，一面责令国防部长何应钦、参谋总长顾祝同，准备进一步集重兵，固守徐州，必要时放弃徐州，死守淮河，以便拱卫南京。
徐州是著名的军事重镇，自古为兵家必争之地，楚汉相争之时项羽曾有徐州建都。它是南京的大门，是津浦、陇海两大铁路交叉点。济南解放后，徐州“剿总”有两种作战方案：第一种方案是以攻为守，即向北进攻，阻止解放军南下，以佯攻济宁，收复济南为目的；第二种方案是向南退守，即放弃徐州，退守蚌埠，扼淮河而守，以加强南京外围防卫为目的。蒋介石似乎欣赏第二个方案，他说：
“徐州已是四战之地，易攻难守，不如守淮。历史上项羽败于垓下，垓下便是徐州附近之沱河集。徐州不是决战之地。”
但蒋介石又怕撤出徐州政治影响太大，造成不可收拾的混乱局面；且撤防而守，若解放军跟踪南下淮河，那局势更加危险，因此，他又认为徐州为南京大门，决不可轻易放弃。蒋介石呈骑虎势。徐州主将刘峙优柔寡断，莫衷一是。而杜聿明力主第一方案，认为徐州兵力雄厚，趁解放军济南之战后正在休整，由武汉白崇禧部牵制中原野战军东进，集中国民党军主力向华东野战军发动闪电进攻，以佯攻济宁而收复济南，来扭转徐州被动挨打的局面。这个计划经蒋介石批准，白崇禧也同意配合行动。杜聿明决意指挥徐州西之邱清泉第二兵团和孙元良第十六兵团，徐州黄伯韬第七兵团和李弥第十三兵团，在滕县附近同华东野战军决战，定于10月15日行动。
杜十分骄横地说：“对陈毅用迅雷不及掩耳之行动，50万大军一战而胜，定可改变华东的战局！”
但出乎杜聿明意料，在10月15日这天，蒋介石因辽西会战非常危急，急调杜聿明赴东北指挥辽西作战，杜的这个狂妄的“计划”成为泡影。
杜聿明一走，刘峙束手无策，大嚷道：“正在节骨眼上，光亭走了，叫我如何是好！”
他一面命令前线部队停止行动，原计划暂缓执行；一面向南京何应钦、顾祝同请示尔后行动方略，并要求速派一名副总司令接替杜聿明的职务。
何应钦、顾祝同决定仍按杜聿明北进部署不变，拟定以徐州为核心点，以徐东之陇海段和徐南之津浦段为两线的防御计划。并提名调华中“剿总”副总司令宋希濂任徐州副总司令，建议由武汉白崇禧统一指挥徐州和华中两个“剿总”协同作战，以对付陈毅、刘伯承的华东、中原野战军的联合攻势；调华中“剿总”黄维的第十二兵团，转用于徐州会战。这个“一点两线”的方案，经蒋介石批准，速即着手实施。
然而宋希濂认为：徐州“剿总”所辖邱清泉、孙元良、黄伯韬、李弥4个兵团，李弥是他的旧部，黄伯韬也较为踏实，指挥这两个兵团，人事上不会有很大困难。但孙元良虚伪狡诈，邱清泉骄横跋扈，狂妄自大，目中无人，这两个人很难对付。且邱清泉又恃宠于蒋介石，宋希濂感到内则难于指挥，外则难以料敌，稍有错失，就可能遭灭顶之灾。他方寸大乱，踌躇焦虑，久而难决，便同几位亲信幕僚反复研究之后，决定弃新枝而踞旧巢，较为上策，遂于10月26日以“到鄂西后情况渐明，正在做种种规划积极部署”及“对徐州方面不熟悉”为由，电复蒋介石，请收回成命，同时亦婉复刘峙。
蒋介石不允，宋希濂只好匆忙带上随行人员由荆门到沙市，候船东下，这时却意外地接到蒋介石一封电报：“已决定派杜聿明前住徐州方面负责，吾弟可仍供原职，希按原拟计划，实施为盼。”
蒋介石要白崇禧统一指挥华中和徐州两个“剿总”，刘峙闻言，闷了好几天，并发牢骚说：“白健生是寡妇改嫁，对老头子还可以抗衡论理，不听调动；我好像是童养媳长大，骨头多大，当婆婆的都摸得清，服从是无条件的！”
宋希濂免去徐州，刘峙弦外之意，白崇禧见势不妙，以刘伯承、陈毅“两股未会合，华东由经扶（刘峙）对付有余，无统筹兼顾之必要”，而逃之夭夭。
10月30日，蒋介石令何应钦、顾祝同立即改变徐州“一点两线”态势，必要时放弃徐州，退守淮河，实行所谓“守江必守淮”防御计划，主持制定了《徐蚌会战计划》，并说：
“我军为集中兵力于蚌埠附近，击破共军攻势，达成戡乱建国之目的，着将徐州剿总所属各兵团及绥靖区各部队主力移至淮河南岸蚌埠东西地区（包括临淮关、怀远、凤台间地区），占领阵地，以攻势防御击退对方之攻击，相机转为攻势，予以歼灭。”
蒋介石黔驴技穷，朝令夕改。杜聿明见蒋介石这个出奇方案，提出：“各兵团任务行动必须明确规定，分别同时撤退，行动必须迅速，否则有被解放军发现，各个击破的危险。”
蒋介石命孙元良第十六兵团主力于11月3日向涡阳、蒙城集结，其第九十九军和刘汝明第四绥靖区部向蚌埠、固镇集结。
蒋介石对刘汝明、冯治安有疑心，急电召刘、冯2人去南京加以笼络，指使其发表反共拥蒋通电。
蒋介石早已惶惶不安，他要顾祝同于11月3日去徐州，召集邱清泉、黄伯韬、李弥、孙元良等研讨作战部署。那黄伯韬提出：“以徐州为中心，集结各兵团对东南西北各个方向备战，进行深沟高垒，采用各兵团互相衔接的‘乌龟战术’，这样才能持久，海州守不守并无关系。”于是决定缩短战线，放弃次要城市，集中兵力于徐州、蚌埠间津浦路两侧地区，作攻势防御。
顾祝同、刘峙便调整了部署：黄伯韬的第七兵团确保运河西岸，同一、二“绥区”密切联系；邱清泉的第二兵团以永城、砀山为中心，迅速集结；李弥的第十三兵团集结于灵壁、泗县地区机动；孙元良的第十六兵团以蒙城为中心，掩护津浦路之安全，刘汝明的第四绥靖区移驻临淮关。正在东开的第100军归入黄伯韬兵团，撤退中的第四十四军到达新安镇后，也划归黄伯韬兵团。
黄伯韬兵团原有3个军，数日之内就增加了2个军，兵员差不多增加了一倍，成为徐州“剿总”序列中最大的兵团。
但兵增多了，行动迟缓。
华东野战军16个纵队，分头疾进，直扑黄伯韬兵团所在地新安镇。
11月8日，华东野战军鲁中南纵队，于进军途中一举攻占鲁南重镇郯城，消灭了长期盘踞在鲁南一带残害人民的土匪武装伪山东保安旅王洪九部5000余人，除掉了敌人的耳目，扫清外围。
蒋介石命刘峙：要徐州以西的邱清泉、孙元良两个兵团放弃商邱、砀山，撤至黄口一带，向徐州集中；要徐州以东的黄伯韬、李弥两兵团放弃海州、新安镇等地，向徐州收缩；把刘汝明部调至蚌埠一带“绥靖”，要李延年在蚌埠组织新的兵团。蒋介石又抽调武汉集团的黄维第十二兵团从平汉路之确山、驻马店一带集结东进，增援徐州。这样一来，在以徐州为中心的“一点二线”上的兵力达80万人。
陈毅和邓小平亲自率领中原野战军四个纵队在东进途中，于11月9日、10日连续接到毛泽东要他们迅速切断徐蚌路、拿下宿县的电报，电文结尾有“至要至盼”4字。
11月10日，刘伯承也到达了中野指挥部亳县，同陈毅、邓小平会见。7天前，刘伯承在豫西同中野副政委邓子恢、参谋长李达致电中央军委，并致陈、邓说，蒋匪重兵守徐州，其补给线只一津浦路，怕我截断，故令孙元良兵团到宿县，陈邓主力似应力求首先截断徐、宿间铁路，请陈邓切实考虑，机动行事。毛泽东、刘伯承、邓小平、陈毅所见略同。
陈毅、邓小平下达徐蚌线作战命令：中野陈赓、谢富治的第四纵队在华野第三纵队、两广纵队的协同下，于宿县以北向徐州方向发起攻击；中野陈锡联第三纵队和秦基伟第九纵队一部要不惜一切，夺取徐蚌线上宿县城。
刘峙怕徐州有失，命孙元良第十六兵团离开宿县去徐州护驾。邱清泉探得华野第三纵队、两广纵队纷纷南下，以为是去图黄维兵团，他们机关算尽，却失了一着，没料到解放军切断津浦路关门打狗。
11月15日，经10个小时激战，攻克宿县，歼敌万余，生擒敌津浦路护路总司令张积武，控制了津浦线190余里，斩断了徐蚌铁路联系。
黄伯韬深感自己的兵团所处战略位置极为不利，于是在11月7日慌忙率部沿陇海路西撤，妄图靠拢徐州，猬集一团，以免其被歼的命运。陇海铁路沿线，黄伯韬兵团十数万部队，慑于几十万华野大军南下的威势，西撤竟然变成了溃退，沿路丢下辎重、伤兵、器材，败鳞残甲一望无际。整个陇海铁路两侧烟尘滚滚，南北10余里，东西百余里，全是狼奔豕突的部队。乱枪声、脚步声、喘息声、机械撞击声，互相淹没，浑浊翻滚。
粟裕一边将黄伯韬兵团西撤情况报中央军委和陈毅、邓小平，一边立即调整部署追击：电告山东兵团第七、第十、第十三纵队排除一切困难，迅速插向徐州以东大许家、曹八集地区，截断黄伯韬兵团西逃退路，分割其与徐州的联系；位于陇海路以南皂河地区的华野第十一纵队和江淮军区两个旅经土山镇向大许家前进，由南向北配合山东兵团断敌后路；华野第一、第六、第九纵队和鲁中南纵队及中野第十一纵队从新安镇及其以西地区沿陇海路南侧向西追击；华野第四、第八纵队在陶勇、郭化若指挥下，沿陇海路北侧向西追击。严令各部不惜一切代价，务必抓住黄伯韬兵团。
一时间，陇海线两侧的解放军的华野官兵如两股狂潮，轰轰隆隆地南北呼应，昼夜兼程，以一天120——140里的速度急行军，向西勇猛追击，席卷而去。
担任左翼掩护的敌63军，被华野第九纵队捎带着吃掉1个团，又被第十一纵队迎头给了一棒，其主力缩进了窑湾。尽管窑湾镇城坚台高可作依托，但哪挡得住随后赶来的华野第一纵队的攻击。激战一天一夜，窑湾镇便成了一片废墟。在联络指挥中断，部队土崩瓦解之际，敌63军中将军长陈章拔出手枪，钻进运河边的堑壕，作困兽斗。他还没有发现共军的影子，腹部就中了一弹。他按着肚子爬出堑壕，投运河自尽。63军被歼。逃在后边的44军在溃败中被我军歼灭将近一半。
粟裕的野战军司令部一天转换几次宿营点，追击部队气势很猛，捷报频传。但粟裕心里并不轻松，他最关心的是山东兵团，只要山东兵团直下徐东，攻克万年闸，强渡运河，拿下徐东据点大许家、曹八集，从西边切断陇海线，中央军委围歼黄伯韬兵团的作战意图就能付诸实施。徐州东北门由国民党军第三绥靖区防卫，粟裕知道这个部队有临时起义的可能，但他不存半点侥幸心理。
陈毅已派华野第十三纵队联络部部长杨斯德，前往国民党第三绥靖区司令部策动临战起义。第三绥靖副司令官何基沣中将和张克侠中将都是中共地下党员，其部驻守在徐州东北台儿庄、贾汪一线。
何基沣是个传奇式人物，11年前在卢沟桥事变中，他率西北军1个旅反击日军的侵略，打响了中国人民全面抗战的第一枪。后来，由于国民党军内部倾轧，何基沣和他的袍泽们虽然拼死厮杀，终因孤军无援，致使大名失守。何基沣痛心疾首，含泪写下“马革裹尸去，不演风波亭”的诗句，拔枪自杀，弹穿右胸，血流如注，一时震惊朝野。伤愈后，何基沣开始寻找救国出路，时任77军副军长。他在武汉八路军办事处找到了周恩来，周恩来称赞他说：“南京中山陵出了个剖腹明志的续范亭将军，卢沟桥上出了个坚决抗日的何基沣将军。”周恩来代表中共中央欢迎他到延安去看看。在周恩来的鼓动和安排下，何基沣秘密前往延安，受到毛泽东、刘少奇、叶剑英等人的亲切接见。离开延安前，他递交了一份入党申请书，被批准为中共秘密党员。
张克侠是西北军元勋冯玉祥的连襟。他早年就读于莫斯科东方大学，回国后秘密参加了中国共产党，并长期潜伏在国民党军队里。他为人谦和，不像何基沣暴烈如火，在西北军内威望甚高。他多次旁敲侧击开导西北军中旧部首领、第三绥靖区司令官冯治安，早日与蒋介石脱离，站到共产党一边，但冯治安怕共产党，对解放军能否得天下心存疑窦，也丢不下恩恩爱爱的小妾，所以张的规劝对他说来如风吹牛耳。好在西北军旧部还算团结，冯与张又是多年的老朋友，他不会把张献给蒋介石。可冯治安还是架空了张克侠，让他只挂个副职，并且一直住在徐州，与部队脱离。
张克侠、何基沣在第三绥靖区下层官兵内发展了不少党员。杨斯德见到何基沣，两人商谈后，何基沣让秘书弄来一套毛料军服和少将军阶。杨斯德在何基沣那里住下。
几天之后，张克侠冒险摆脱重重监视，从徐州回到贾汪前线，和何基沣一起率领第三绥靖区59军、77军3个半师的官兵战场起义。2．3万人的部队一律反穿着棉衣，传着口令“杨斯德”，北渡运河，迎着南下的华野将士向兰陵开去，解放军华野第十、第十一纵队穿过第三绥靖区防地，直插徐东大许家地区。
国民党第一绥靖区副司令兼107军军长孙良诚率部由睢宁地区向徐州方向逃跑，闻张克侠、何基沣率部起义，受到很大震动，深怕部队被解放军前后夹击，全部被歼。
孙良诚本是冯玉祥的“十三太保”和“五虎将”之一，后受蒋介石拉拢，投蒋后被命为军事参议院上将参议。1942年4月，孙良诚投靠汪精卫，任汪伪军第二方面军总司令。但孙良诚狡兔三窟，他脚踏三只船，四方讨好，八面玲珑，一方面听命于日汪；一方面对蒋介石、戴笠派去的周镐待如上宾，百般巴结；再一方面又与新四军信使往返，他左右逢源，保存实力。