1946年6月26日，全面内战爆发。当天，聂荣臻与萧克、刘澜涛、罗瑞卿一起，提出了晋察冀、晋绥、晋冀鲁豫三大战略区集中力量先打下山西，使三区连成一片的建议。为此，晋察冀拟采劝西攻东防”的作战方针。两天后中央复电：“你们的战略意见是正确的。国民党大打后，你们的基本任务是保卫地方与夺取三路（平绥、同蒲、平汉路）四城（大同、太原、石家庄、保定），首先是打下平汉路和石家庄、保定。”①聂荣臻提出，如无晋冀鲁豫的配合，执行中央的指示是困难的，建议先用半月时间，与晋绥配合打下大同。中央复电同意。看来，聂荣臻是考虑到平汉路和平津唐两线敌人共有8个军、21个师、5个总队，而山西太原以北地区敌人只有2个军、7个师，显然要弱得多。7月，为孤立大同，晋察冀与晋绥军区配合进行了晋北战役。晋察冀军区部队在40多天中解放了山阴、繁峙、原平、五台、定襄等城镇，歼敌8000多人，基本实现了预期目的。晋北战役后，接着与晋绥军区组织了大同、集宁战役。
8月2日，聂荣臻到阳高主持了大同战役作战会议。根据大同敌兵力不强，但城防坚固的特点，确定以5个旅围攻大同，先在外围各个歼敌，与围城同时，另部署4个旅打傅作义可能的增援，并组成前线指挥部，由晋绥野战军副司令员张宗逊任司令员、晋察冀军区副政委罗瑞卿任政委、第三纵队司令员杨成武任副司令员。7月31日战役开始。大同城坚，对此估计不足，未能按计划攻克。9月2日，傅作义3个师增援大同，这本在我意料之中。
傅部进到集宁，被包围。在敌人即将被歼时，傅作义又派一个师增援集宁。
由于前线指挥员指挥不当，不是集中全力先吃掉敌人3个师，而是掉头打敌人增援的一个师，兵力调整又组织不当，致使敌4个师会合，失去了歼敌良机。后来，聂荣臻在回忆录里总结教训时说：“发起大同战役，有考虑不当之处。因为，大同敌人的兵力虽不雄厚，而城防设施是颇为坚固的。当时，我军既没有重武器配备，又缺乏攻坚战经验，哪里有把握攻下大同？”①在这种情况下， 13日部队撤离集宁， 16日撤围大同，加上8月28日放弃承德，至此，张家口东西两面受敌，形成被动态势。聂荣臻权衡利弊，认为我军一向以歼敌有生力量为主，不在一城一地的得失，决心能守则守，必要时主动放弃张家口。
关于撤出张家日的考虑，要追溯到绥远战役之后。那时，聂荣臻认为，未能消灭傅作义部主力，造成张家口两面受敌，总的形势不利。鉴于这种情况，他开始从张家口大量往北岳山区转移作战物资，光105口径榴弹炮的炮弹就有几万发。解放战争中二野、三野把105炮的炮弹打光了，这批弹药起了重要的支援作用。绥远战役结束，离撤出张家口还有近一年的时间，即使在那个时候，聂荣臻已经预见到迟早要撤出张家口。因而搬运许多笨重物资从容不迫，重要的机器全运进山里，负责搬运工作的是察哈尔省主席张苏。
自1946年7月起，就往涞源山区疏散人口。
9月份的一天，晋察冀军区作战科长杨尚德乘一架美国飞机由北平飞回张家口。杨尚德在北平军调部跟随叶剑英工作。对他的突然而至，聂荣臻感①《毛泽东年谱》下卷，人民出版社、中央文献出版社1993年12月第1版，第100页。
①《聂荣臻回忆录》，解放军出版社1986年3月第2版，第631页。
到诧异，问：
“你怎么回来了？”
“送情报。”
“情报在哪里？”
杨尚德从口袋里拿出一包顶球牌香烟，从里边抽出一支，从两头掰开，里边包着的是一张纸条，上面写满了蝇头小楷。杨尚德汇报说：这是打入国民党第十一战区地下工作人员提供的敌人进攻张家口的作战命令。字迹太小，聂荣臻看不清，马上派人整理出来，他看过后，又叫杨尚德作了详细汇报，在座的有罗瑞卿、萧克、刘澜涛、赵尔陆、耿飚。
敌人进攻张家口的部署是：东面，李文兵团第十六军、第五十三军沿平绥铁路向怀来进攻；十三军从承德到丰宁（大阁）、沽源作为配合；九十四军在北平作为预备队。西面，傅作义三十五军的3个师、新编骑兵第四师、暂编第三十八师集结于大同集宁一线。东西两面的敌军协同抢占张家口。
从北平地下工作系统送来的这个情报和军区掌握的敌情动态，全都证实了张家口的形势是严峻的。
对于坚守还是放弃张家口的问题，即使是在高级干部中，意见分歧也很大。大体是三种意见：一是认为守不住，弄不好可能被迫撤退，那损失就大了；一种认为西有晋绥军区和第三纵队等部队，东有冀热辽军区和第二纵队等部队，可以守住；更多的人是舍不得丢失张家口，这是抗日大反攻以来我军攻占的唯一大城市，怎么能舍得放弃呢？在那些日子里，来找聂荣臻的领导干部很多，有军队的也有地方的，众说纷坛。聂荣臻胸有成竹，对来找的人反复说明，我们要实事求是，能守住最好，实在守不住就要做放弃张家口的准备。
为了统一思想，聂荣臻主持召开了晋察冀中央局会议。萧克、刘澜涛、罗瑞卿等中央局多数领导人，都同意聂荣臻的意见，必要时应该放弃张家口。
中央局经过热烈讨论，作出了准备放弃张家口的决定。
9月15日，聂荣臻在晋察冀中央局干部大会上作了《不计一城一地得失，力争战胜敌人》①的报告，指出：东线我军放弃承德，西线撤围大同，张家口两面受敌态势形成。“在万一不利的情况下，不作孤注一掷??比如张家口这个大城市，是压在我们肩上的大包袱，并非绝对不能放弃，但决不能轻易放弃。”针对敌人兵力不足的特点，“我们的战略方针是以大兵团的运动战为主，战役指导上是以速决战、歼灭战为原则”。9月16日，聂荣臻、萧克、刘澜涛、罗瑞卿，向中央军委报告了弃守张家口的问题，提出“坚守张家口或主动撤离张家口的两种方针??拟在敌人进攻时只进行掩护战斗，不作坚守”。18日中央军委复电：在保卫察哈尔的口号下，集中主力在适当地区歼灭进攻之敌一部，“以歼灭敌有生力量为主，不以保守个别地方为主，使主力行动自如”②，同时秘密疏散张家口的机关和物资。
9月20日，聂荣臻发布了《关于保卫张家口战役部署的命令》。命令规定：以8个旅置于怀来、延庆地区，为主要防御方向，争取在运动中歼敌一两个团，再扩大战果。另一个纵队（欠一个旅）部署于西线柴沟堡地区，配合天镇、阳高地区的晋绥部队，防范傅作义、阎锡山部的进犯。另外，以6①《聂荣臻军事文逊，解放军出版社1992年7月第1版，第250页。
②《毛泽东年谱》下卷，人民出版社、中央文献出版社1993年12月第1版，第135页。
个旅在平汉线北段实施进攻，作为钳制方向。在乎汉线北段指挥作战的是杨成武和王平。
聂荣臻判断，东面是敌人的主攻方向，故把兵力重点放在东面，投入这一战场的有第一纵队的第一、二、三旅，第二纵队的第四、五旅，第三纵队的第七旅，第四纵队的第十旅和独立第五旅，还动员了大量的民兵参战；并以萧克为司令员、罗瑞卿为政治委员，组成野战军指挥机关，直接到前线指挥作战，力争在撤离张家口之前，更多地歼灭敌人。当时担任二纵队五旅旅长的萧文玖回忆道：聂荣臻司令到二纵队时曾对部队干部动员说：“来者不善，善者不来，你们必须在这里准备打恶仗，打大仗，顶住敌人的一切进攻，以保卫张家口。”
他还命令冀热辽军区的部队钳制敌人的第十二军，冀察军区地方部队全面开展游击战，配合主力作战。
9月29日，张家口东面的战斗打响，敌人4个师的兵力开始向怀来地区进攻。战至10月2日，敌进占东、西花园等地。3日，李文投进第二梯队两个师企图突破火烧营阵地、夺取怀来，受挫后撤回东、西花园等地。蒋介石亲自派他的参谋总长陈诚到南口部署从侧面迂回怀来。7日，敌人第九十四军以2个师从怀来东南方向迂回。野战军司令部识破敌人企图，以第一纵队全部和另外2个旅、1个团在马刨泉地区设伏。对于这一地区，聂荣臻除在春天时带领作战处长实地勘察外，战前曾带领郭天民等纵队领导看过地形，做过具体部署。他一直到晚年还能清晰地记得那里的地形地貌。“作为防御，那不是很好的地形吗？在那里筑点工事，打击他呀！”他这样描述了那个预设阵地。在这里基本上消灭了全部美式机械化装备的敌人1个团。接着，在南石岭、镇边城又打两仗，共歼敌1600余人。至此，粉碎了敌人迂回怀来的企图。在东线共消灭敌人1万多人，把敌人6个师挡住了。
在平汉路北段，杨成武、王平指挥6个旅连克4座县城，控制了125公里铁路，攻占沿线全部车站，歼敌8300多人。他们采取野战军与地方部队、民兵相配合，先对保定南北的平汉路进行大破袭，使平汉路被截断。同时集中优势兵力，对平汉路两侧及敌兵力薄弱的据点出击，歼敌几十、几百到上千人，频频得手。平汉路北段战役的胜利，被延安《解放日报》誉之为“南北两捷”的一捷，与华东人民解放军“七战七捷”联系在一起。
倘若在张家口北面不突然出现傅作义的部队，聂荣臻是可以完全实现其利用保卫张家口作钓饵，更多地歼灭敌人有生力量的战役目的的。
当李文兵团在东线受阻，蒋介石玩弄了一个“以利诱之”的惯伎，下令把张家口划归第十二战区，这样就大大刺激了傅作义的积极性。于是，他调集2万兵力避开西线晋察冀部队设防地区，从集宁向东穿过几百里草原，突然出现在张家口北面的张北地区，于10月8日占领大清沟、张北。对于敌人的这一偷袭，情报部门也没能发现。司令部二局局长彭富九对于没有破译傅作义偷袭张北的行动一直不释于怀，北乎和平解放后，他找到原来傅作义的办公室主任，作了详细的了解，从中得知：傅作义怕失密，内部没有用蒋介石统一的密码，他自己另有一套，蒋的电报正规，而傅的电报故意搞得颠来倒去，把时间和签名插在电文里边，致使破译十分困难。彭富九还了解到：傅作义没有破译机构，但架了几部电台测向，听无线电的方向和声音大小，以此得知解放军在张家口西南面有主力，而在张北方向空虚。应该说，聂荣臻在张北方向是个失着，他只部署了一个团在万全地区警戒，要张北的地方部队“注意西面敌骑兵之扰乱”。后来，聂荣臻检讨说：“我们对傅作义经丰镇、大同、阳高东迸策应怀来是有准备的，但对他从集宁、尚义直插张北估计不足。”①因此，使得东线的歼敌计划没有全部实现。傅作义的偷袭，比起李文来要高出一筹。
当时，置于西线的部队一时调不到北线，在张北阻敌的只是少数的地方部队，而傅作义又以骑兵为主，行动迅速。
这天，张家口上空有6架敌机轰炸、扫射。聂荣臻在东山坡司令部的坑道里指挥战斗。敌人的突然袭击并没有引起他的失措。
他打电话给张家口卫戍区司令员郑维山作了应急布置。
郑维山回忆当时的情景时说：
傅作义乘我张家口西北方向空虚，用少数部队朝兴和方向佯动，调集主力步骑两万余众，先头于10月8日占我南壕堑（尚义）、大清沟。在张北担任警戒的第七军分区部队，误以为是小股敌人窜扰，即派骑兵两个团绕路出发，围歼该敌，张北只留一个连驻守。同日，敌两千余骑（兵）乘虚直插张北，使张家口的形势顿时紧张起来。此时，正好我派警卫团团长李金石带一个营前去张北警戒，以防小股敌人袭扰，不想一到竟发现敌人主力，便同七分区部队一起拼死奋战。我得知此情况，又派警卫团主力急速奔赴张北。但油于沿途遭到敌机轰炸、扫射而迟滞了时间，到达张北时，敌大部队已陆续到达，与敌激战后被迫撤退。形势更加严重了。聂总命我立即派参加集宁战役刚刚归建的教导旅，火速赶往张北与张家口之间的狼窝沟一线抗击敌人，掩护领导机关转移。
蒋介石下令10月11日攻占张家口。截至10日晚，聂荣臻还在张家口。
各级政府、机关、工厂以及部队留守处在做最后的转移。这一夜星光灿烂，敌人的轰炸机嗡嗡了一天，天黑前飞走了，空气骤然沉寂下来。大路上的汽车为数不多，更多的是大车和毛驴驮子，载运着票子、布匹、药品、盐巴、罐头，比较笨重的物资早就转移到北岳山区，现在载运的多是生活用品。
晚上八九点钟的样子，一辆吉普车从东山坡司令部大院开出，驶上宣化大道。
聂荣臻撤出张家口的那天晚上，一轮明月悬在天上，好似也有送别之情。
各机关部队都安全撤完了，只留教导旅在最后阻击敌人，聂荣臻才在明亮的月色中，告别了这座塞外山城。
他走后不久，从司令部大院开出一辆卡车。押车的是作战处长唐永剑车上有一部综合电台，伴着这部电台的是台长马萍。这辆车后面留下了洒满月光的空寂的大院。对于聂荣臻这么晚才撤退，很多人不放心，不断打电话询问、催促。
郑维山指挥教导旅抗击着傅作义部队的进攻。11日9时，傅作义集中4个师的兵力倾全力向狼窝沟阵地进攻，教导旅与敌激战终日，在完成任务后，当晚撤出阵地。他们是最后离开张家口的部队。
傅作义部占领张家口，蒋介石兴高采烈，下令第二天召开伪国民大会，通过伪宪法。国民党宣传机构叫嚣：“共军已总崩溃”，“可在三个月至五个月内完成以军事解决问题”。可聂荣臻却说：对于张家口及其附近地区的各种建筑设施，例如下花园发电厂、张家口飞机场等等，告诉部队不要破坏，①《聂荣臻回忆录》，解放军出版社1986年3月第2版，第639页。
一来还有人民群众，二来撤出来只是暂时的，用不了多久红旗就会重新飘扬在大境门的城楼上。
不过，下花园的发电厂还是被破坏了。当年察哈尔省主席张苏回忆说：“我和省委的牛树材到下花园，看见下花园发电厂被破坏，那是工人搞的。
因为工人思想不通，他们不愿留给敌人。”山城突然之间灯火全部熄灭。
敌人在进攻张家口的同时，以10万兵力向冀东解放区进攻。冀热辽军区组织部队进行了70多天的防御战，歼敌7000多人，还占领了冀东不少县城。
在撤出张家口以后，聂荣臻考虑到，当时东北民主联军在敌人重兵的压迫下，退到南满、北满，沈阳、四平、长春、吉林等城市及广大地区被敌人占领，财源和兵源都发生了困难，加上承德、张家口先后被敌占领，冀察热辽地区与晋察冀的联系实际上已被隔断。在这种形势下，他主动向中共中央建议，把冀察热辽军区划归东北民主联军。1947年3月，中共中央批准了这一建议。
这样，就为东北民主联军的发展及满足财政需求，提供了一个十分重要的基地。
10月22日，晋察冀中央局召开了涞源会议。在撤出张家口之前，虽然作出了撤出张家口的决定，但有些人在认识上并没有完全解决问题，在感情上更是转不过弯来。有人说：“我们艰苦奋斗抗战八年，钻了八年山沟，刚进张家口一年多点儿，为什么又把它让给敌人了？”还有人事后诸葛亮，对于弃守张家口说长道短，大发议论。
聂荣臻主持了这次会议，并在会上作了重要讲话。他具体分析了当时张家口的形势，指出敌人集中那么多兵力，东西夹击，敌强我弱，即使付出大的代价也还是守不祝如果硬守的话，势必造成要守守不住，要走走不脱，那个后果将是十分严峻的。我们主动撤离，就摆脱了被动，争取了主动，取得了行动自由，可以在运动中消灭敌人，使战争形势逐渐向有利于我们的方向转化，达到最后完全主动。他最后说：“从战争的全局来看，从敌强我弱的形势来看，我们应该审时度势，着眼于未来，不计较一城一地的得失，应以歼灭敌人的有生力量为目标。可许多同志看不到这一点。把丢掉张家口看得过重。实际上，我们暂时的放弃张家口??没有什么了不得！当年的日本侵略者，也是横行霸道，不可一世，我们同它较量了八年，结果怎么样呢，还不是我们胜利了吗？蒋介石也不例外，反动势力终究是要失败的，这是历史的必然，不可抗拒。”
萧克后来说：“放弃张家口，中央局开会表决，我首先表示同意。党内的思想工作难做，有人战略眼光差，就事论事。因为放弃了平绥线，才能到平汉线上打击敌人的弱点。我和聂荣臻同志是看到了这一点的。这是个正确的措施。”
通过这次会议，大家提高了认识，总结了经验教训，澄清了糊涂观念，克服了悲观失望情绪，树立了战胜敌人的信心。
会议还作出了《关于张垣失守后的形势与任务的决定》。这个决定，根据聂荣臻在会议上的讲话精神，强调指出：只要我们按照中央指示，进一步团结群众，发动群众，动员一切力量来坚持长期自卫战争，坚持运动战、歼灭战的方针，更加主动地大量歼灭敌人有生力量，就能从根本上转变晋察冀地区的军事形势。同时对放弃张家口的教训也作了检讨：开始时，对国内和平估计过高，战争准备不足；平绥、平汉线的作战，未能发展成战役胜利；对傅作义部经张北迂回张家口的主要进攻方向判断错误。
涞源会议之后，逐渐统一了大家的思想，消除了张家口撤退后的埋怨情绪，士气又重新振奋起来。与此同时，又大力加强了野战军的建设，动员了三四万群众参军，补充了野战军，各纵队由原来的2个旅增加为3个旅。这时，一纵队归还晋冀鲁豫军区建制，晋察冀野战军辖二、三、四纵队，萧克任司令员，罗瑞卿任政治委员，耿飚任参谋长，潘自力任政治部主任。大家一心为转变晋察冀的战局而努力。