聂荣臻到阜平以后，除了筹备成立边区政府外，多次找人了解冀中的情况，为开辟冀中根据地作准备。冀中党组织的基础好，村庄稠密，人口多，物产丰富，文化也比较发达，是发展抗日武装力量和建立根据地的好地方。
早在1937年9月30日，他和林彪就向毛泽东等报告：“平汉、津浦两路之间，（系）地广人多区域??扩红（即发展抗日武装）上，能在该区域内（工作）一礼拜，当胜在山地数礼拜。”
经过了解，中共地下党员、原东北军第五十三军六九一团团长吕正操，遵照中共北方局的指示，率部于1937年10月11日在梅花镇英勇抗击进犯日军后挥师北上，在晋县小樵镇举行抗日誓师大会，改称人民自卫军，积极开展抗日游击战争，打了一些胜仗，部队发展很快。此外，中共中央北方局还派了红军干部孟庆山在保定失守以前到达冀中，在保属省委领导下与侯玉田通过开办游击干部训练班，动员群众参军等，领导组建了一支武装游击队。
同时，还有定县、无极、藁城等地方党也组织成立了第五、第八游击支队等人民武装和救国会等抗日组织，正在积极开展抗日活动。聂荣臻认为，冀中的抗日局面很好，大有可为。11月初，聂荣臻派孙志远携带密码到达冀中，与人民自卫军及保属省委取得联系，要他们努力发动群众，积极开展抗日游击战争。不久，吕正操、孙志远来电，要求上级帮助对部队进行整训，以学习红军的好传统、好作风，使这支来自东北军的部队得到彻底的改造。聂荣臻认为这个想法很好。他在报经毛泽东、朱德、彭德怀等同意后，要吕正操部开赴平汉路西进行整训。初冬的阜平，天寒地冻。在聂荣臻的司令部里，身穿军服、戴着人民自卫军臂章的吕正操，心头却洋溢着难以抑制的激动和兴奋。他后来回忆说：“我跟孙志远到阜平，初次见聂司令员。他给我的第一个印象是军容严整，正正规规，显得很严肃，但是对同志却很亲切，使人感觉见到的是一位忠厚长者。我们部队旧的习气多，见到红军——当时我们习惯地这样称呼八路军——这么正规，精神为之一振。聂司令员特地安排唐延杰、我和孙志远与他住在一起，同睡在一条炕上。这样我们就朝夕相处，随时交谈。他详细地询问了冀中的情况。我还向他讲了我的经历，在东北军的情况，以及和张学良的关系。我特别提到，自己虽然是北方局在东北军中发展的共产党员，但在旧军队中呆久了，对革命部队的许多东西感到生疏，请聂司令员多多帮助。
他亲切地鼓励我说：‘你带领部队在冀中抗日，很短的时间里就和地方党的同志在冀中开创了一个新的局面，梅花镇阻击日军、挥师北上、小樵镇誓师、打开高阳城等，这第一步就搞得很好嘛！特别是冀中那个地方是平原地区，这个意义就更大了。’”吕正操很快把聂荣臻看作自己的师长，有事就向他请示。每逢夜幕降临，聂荣臻处理完一天繁忙的军务，就和吕正操聊天，讲笑话，交流情况。聂荣臻还把长征时保存下来的一双袜子送给了吕正操。吕正操立即珍藏起来，并表示由衷的感谢。
聂荣臻对吕正操的印象也很好。12月14日，他在给“毛周朱彭任”的报告中说：吕正操率领到路西的部队“约二千三四百人，步枪约一千二百支”，还有轻重机枪60多挺，各种炮16门，骑兵一个连，“在谈话中，我对吕的感觉很好，政治上开明，对党的工作、部队的改造、群众工作等都很注意，该部党员甚多??原即有组织，最近由地方党介绍了一批党员进去，此部队的成份和质量均好”。报告最后建议，在延安受训的河北省籍干部，最好能尽快调回，以帮助吕部开展工作。可以看出，聂荣臻把吕正操部看成是开辟冀中的最重要力量。吕正操本人深有体会地对人说：“对聂司令的道德风尚我一直是很敬佩的，因为从他身上反映出了共产党的领导作风，所以我佩服他，感谢他。”“聂司令对冀中的工作是十分关怀的。只是我找他要干部，他却没有满足我的要求。”事隔50年之后，吕正操回忆说：“我在路西对他说，人民自卫军中不少人有极端自由主义和游击习气，要改造部队没有红军干部不行。我跟他要，第一次给连级干部。我回冀中后还向他要干部，要不到，我和孙志远同志一急之下就打电报抗议。1938年3月，我和鲁贲到军区汇报工作，他把我说了一顿：要干部，就要干部，你抗什么议？缺少干部确实是当时的大问题。后来，聂司令把王平同志派来当冀中军区政治委员，再后来又派孙毅来当冀中军区参谋长。他们为冀中抗战做出了重要贡献，对我的帮助也很大。”
吕正操对聂荣臻最钦佩的事情之一，是“肃清托派”时很讲政策，实事求是，关心和爱护干部。1938年，曾任人民自卫军政治部主任的李晓初，因其兄被定为“托匪”，军区接到上级命令，把李晓初也抓起来，经审问定为托派分子并被错误地枪决（此案直至50年后才平反）。因李晓初事件而受牵连的干部达100多人，聂荣臻处理时很慎重，除了少数几个人留下审查以外，大部分人被送到延安请中央审查。中央否定了这些人是托派分子，使他们重又回到部队工作，从而保护了绝大多数干部。李晓初是吕正操的入党介绍人，吕正操也担心受到牵连。有次他到路西开会，聂荣臻与他谈话，说到李晓初案件时，聂荣臻说，曾问过李晓初，为什么托派分子名单中没有吕正操？李晓初说：吕正操这个人太精明了，没敢暴露给他。接着，聂荣臻态度明朗地说：“李晓初是你的入党介绍人，他是党组织派去的，你是你，他是他，跟你没有关系，不会因为这件事使你受到牵连，党是信任你的。受牵连的都是冀中的干部，我相信他们绝大多数是好人，所以把他们送到延安去审查，以免冤枉好人。”
人民自卫军在阜平整训的时候，有一天，聂荣臻突然盯着吕正操衣袖上的臂章问道：“你们戴这个红五星干什么？”那臂章是长方形的，白底蓝边，上面写着“人民自卫军”五个蓝字，中间是一颗红五星。
吕正操解释：“脱离五十三军的时候，大家觉得戴的臂章应该有别于国民党旧军队，要有倾向于红军的革命标志，使人民群众对我们能有焕然一新的看法，当然要有这么个红五星啦。这颗红五星对六九一团的官兵起了很好的鼓舞作用。”
聂荣臻点点头说：“出发点很好，道理是这样，但是这样做不利于和国民党搞统一战线共同抗日。”他指了指自己军帽上的国民党青天白日帽徽，又说：“为了抗日的大局，连我都得忍痛把戴了多年的红五星摘下来了！”
在吕正操和孙志远的陪同下，聂荣臻接见了参加整训的人民自卫军营以上干部。他说：“同志们，人民自卫军挥戈北上和在冀中的战斗，我已经向党中央和八路军总部作了报告，毛泽东主席知道了，很高兴。同志们以后有机会去延安，一定会见到毛主席！”人民自卫军的干部们大受鼓舞。
聂荣臻对人民自卫军的关怀是多方面的。他不但从政治上关心他们，亲自给干部们讲解中共的统一战线政策和如何进行游击战争的问题，还派军区组织部长王宗槐带着军区慰问团前往整训驻地慰问。
吕正操和孙志远参加了军区政工会议，会议专题讨论了冀中区的工作。
聂荣臻很有气势地用手在地图上划了个大圈，对吕正操和孙志远说：“经八路军总部和党中央批准，你们就在平津路、平汉路、津浦路之间，南边以滏阳河为界，搞冀中根据地吧！”“开展平原游击战争，困难确实更多一些。
过去，由于我们党的根据地大多建在大山之中，主要强调山地游击战争，现在看来，开展敌后游击战争，主要还是在山地，但也可以在平原地区进行，只要有了人民群众的支持，不论是山地还是平原，我们都可以牢牢站住脚。”
“是这样。”吕正操充满信心地说，“冀中平原大得很！日本侵略军兵力不足，根本没法控制这么大的地方，有了群众的支持，我们到处可以走来走去，活动余地是很广阔的”。
“你们的实践是有深远意义的，这是我们党在平原上开创的第一个根据地，你们成功了，对于全国其他平原地区的抗战，将提供很有价值的经验??冀中下一步的工作安排是：肃清反动势力，改造杂色武装，有计划地扩大武装力量和根据地，发展群众组织，逐步建立和完善抗日政权，整顿社会秩序，安定人民生活。”
根据聂荣臻提议，经过晋察冀边区军政民代表大会民主选举，吕正操和孙志远被推举为人数仅有9人的边区政府委员。聂荣臻对吕正操及冀中的重视，于此可见一斑。
吕正操返回冀中之前，为落实晋察冀边区军政民代表大会的决定，聂荣臻与他商谈筹建边区银行的问题。吕正操说：“安国商人为成立汉奸组织‘维持会’而筹集的3万元被我没收了，还没有动用，可以拿它作为筹建边区银行的基金。”聂荣臻听了很高兴，同意吕正操的提议。1938年3月，边区银行成立，原六九一团军需官关学文被任命为边区银行总行经理。
军号响了。在路西整训了一个多月的人民自卫军，建立了具有红军优良传统的政治工作制度，明确了创建冀中平原抗日根据地的指导思想和坚定信心。聂荣臻与百感交集的吕正操握别，用充满期望的目光欢送他走上新的征程。
送走吕正操部不久，聂荣臻亲自到完县、唐县一带靠近平汉路西侧的丘陵地区，观察平汉路东冀中平原的情况。事后他向总部建议：“河北平原村庄极稠极大，树木亦多，敌人固然随处可到，但我亦可随处活动，且村庄树木（多），极易隐蔽??我已有相当根据地之基础，平汉路东西也能有好的配合，当敌人进攻时仍可（相互）支持。”说明平原适合开展游击战，希望多派些党政军领导干部去，以加强那里的工作。客观情况的发展，完全证实了聂荣臻的上述论断。4月，中共中央正式发布了《平原游击战争的指示》，要求在河北、山东平原地区认真开展游击战争。
人民自卫军返回冀中，利用日军兵力少而分散的弱点，迅速收编或歼灭了10多股土匪武装及部分伪军、伪组织，以后又北上到北平、天津、保定之间的三角地区开展工作。与此同时，于1937年12月成立的由盂庆山任司令员的河北游击军很快发展到万余人，并取得了许多胜利。1938年4月，人民自卫军与河北游击军并肩战斗，共同粉碎了日军对冀中地区发动的春季“扫荡”，使冀中越来越成为一块欣欣向荣的抗日根据地。5月，中共中央和八路军总部根据聂荣臻反映的情况，命令人民自卫军与河北游击军合编为八路军第三纵队，成立冀中军区，吕正操任司令员、孟庆山任副司令员，总兵力达6万余人。第三纵队在聂荣臻的领导指挥下，长期坚持了冀中平原的游击战争，并与北岳、冀东、平北等根据地互为依托，为晋察冀抗日根据地的巩固和发展做出了重要的贡献。
由于冀中根据地特别重要，根据中共北方局指示， 1938年1月，鲁贲到冀中任冀中省委书记；4月，冀中成立区党委，黄敬任书记。在这里，他们全面领导了党政军各项工作，对加强冀中的抗日斗争做出了重要贡献。尤其是黄敬，在贯彻中共的各项方针政策、团结知识分子等方面的贡献更为突出。
接着，聂荣臻在相当长的一段时间内，又将工作重点和注意力集中到了冀东地区。
1938年2月9日，毛泽东发出了“关于建立冀东抗日根据地的指示”。
聂荣臻接到指示后，反复思考，认为冀东地区非常重要，它是日军入侵华北的陆路咽喉，而且沦陷早，在那里建立根据地，斗争定会很激烈。毛泽东要求派有独立应付新环境能力的干部去，而且要带一支精干部队。谁去好呢？
他拿着电报问唐延杰。唐延杰说，毛主席不是要你定吗？不过，我看还是从一分区派人去好，因为独立团发展快，红军骨干比较多，基础也好。聂荣臻以商量的口吻说：你看邓华去怎么样？这个同志我了解，是一军团的老同志，打仗行，政策水平也可以，比较稳当。唐延杰点头赞同。于是，聂荣臻给邓华打电话，要他立即到阜平来。一见面，聂荣臻便说：“根据毛主席的指示，你要带一个团立即去冀东开辟根据地。据河北省委前两天派李楚离同志来介绍，冀东地方党正在积极准备组织冀东群众武装抗日起义，迫切需要主力部队前去撑腰。现在冀西、冀中、平西革命的游击战争发展很快，对冀东人民的影响是很大的。特别是冀中，因为紧靠冀东，影响更大。就冀东的群众基础而言，也并不比冀中和冀西差，这个地区早就有我党领导的工人运动，在遵化、玉田一带农村，也有我们党长期工作的基矗日本帝国主义侵占华北以来，冀东地区是最受害的，那里的群众受压迫最深，对亡国的苦难尝够了。
目前地方党的同志在群众中进行了深入的发动工作，基本群众已被我们掌握起来了。因此，在冀东建立根据地，开展游击战争，是很有条件的。你们的责任很重，要足够地估计到日本侵略军在冀东搞了那么久，决不会轻易让你们在那里立足。因此，你们到冀东以后，要紧紧地依靠地方党，发动群众，把游击战争开展起来。”
邓华聚精会神地听着。他见聂荣臻以询问的目光注视着自己，就问道：“开辟根据地，担子不轻，不过请首长相信，我坚决执行，但要注意哪些关键问题呢？”聂荣臻说：“关键是要在那里牢牢地站住脚跟，打出一个好的局面来。不能到了那里，扩充一些部队，抓一把就走。‘抓一把’，是抓不到东西的，也是同我们建立根据地的意图相违背的。至于部队的名称，军区已经研究过了，就叫邓华支队。”唐延杰补充说：“你们可以先北上平西地区，再转向平北，开向冀东，逐步前进，这一带敌人力量较弱，开展工作容易些。”聂荣臻说：“这个部署是经过我们研究的，比较妥当。”
邓华受领任务后，回到一分区立即率领约一个团的部队出发，一路打了一些小的战斗，进展顺利。他3月中旬向聂荣臻报告说：一个月来在五支队和其他游击武装配合下，先后开辟了涞水、房山、良乡、宛平、昌平等地区的工作，消灭了多股地主土匪武装，摧毁了一些伪军、伪组织，占领了不少据点，还建立了3个联合县政府及一批人民自卫队武装。聂荣臻很高兴，认为邓华开脚的第一步是成功的。他立即把邓华的报告转报给八路军总部。
4月下旬，八路军总部命雁北地区的一二○师宋时轮支队开赴平西，与邓华支队会合。宋、邓支队会合后，于4月27日被总部正式命名为八路军第四纵队，宋时轮任司令员，邓华任政治委员。5月20日，聂荣臻电令第四纵队应乘徐州会战，“敌后空虚，尚不能转移力量对付我们时，（速向冀东开进）立稳自己足跟，迅速创造根据地”。6月12日及22日，聂荣臻再次电令第四纵队：“为执行创造新的（冀东抗日）根据地之任务，宋、邓纵队应乘敌空虚迅速开往冀东，首先袭取兴拢以该处为中心，现决定分两路进攻，宋支队进袭密云以东平谷、三河、蓟县，并相机进占各县城，邓支队进逼兴隆成功后，继续向东南地区发展。”“你们现既到达兴隆县，就应在此地开始创造根据地的工作??你们似宜依靠雾灵山向四周发展。”此后，第四纵队连克昌平、延庆、永宁、四海、兴隆等城镇，使冀东人民深受鼓舞。
1938年7月6日，在冀东地方党的领导下，以四纵队为坚强后盾，冀东爆发了有20万群众参加的人民武装抗日大起义，丰润、滦县、迁安、蓟县、遵化、昌黎、乐亭等县群众纷纷揭竿而起，其声势之壮，规模之大，一时震动了全国，风闻于世界。8月，第四纵队与李运昌率领的冀东起义部队于遵化县铁厂镇会师，成立冀察热辽军区，部队扩大到10万多人。聂荣臻对此极为振奋。8月4日，他向中央北方局书记刘少奇建议，第四纵队应在现有地区以“立定足跟为原则，因为在敌人的深后方发展游击战争，没有根据地是困难的。所以必须向蓟（县）、平（谷）、密（云）加紧工作，逐渐向东南发展”。8月13日，毛泽东、王稼祥、刘少奇联名复电：“宋邓纵队主力在现地区平谷、蓟县、密云一带加紧工作，站稳脚跟，再逐渐向东南发展的方针是好的。”①但到9月中旬，传出了日军将大举围攻冀东的消息，冀东的某些领导人对这个形势估计得过于严重，认为平原不好坚持游击战争，起义部队成份又很复杂，因此，匆匆作出了把部队带到平西整训的决定。10月11日，聂荣臻致电四纵队，要他们克服困难，坚持在冀热边地区立足，不宜回平西。中央和北方局也致电阻拦。但四纵队领导人决定，仍率部与起义武装共5万余人以及大批地方干部，于10月中旬向白河以西地区撤退。由于方针不对，组织工作不得力，途中又不断遭敌袭击，起义部队的许多人员不愿远离家乡，自动离队，到白河以西时，只剩下2000余人，四纵队也受不小损失。10月下旬，起义领导人中共冀热边特委书记李运昌、中共党员华北人民武装自卫委员会负责人李楚离、中共京东特委书记胡锡奎研究了面临的严峻形势，决定停止西撤，率部分部队返回冀东。途中又受重大损失，到达迁安地区时只剩下100多人，与四纵队留下的300余人会合。到年底，部队发展到1000余人，坚持了冀东地区的斗争。对于四纵队开辟冀东地区的胜利与反复，1938年11月25日毛泽东等中共中央领导人曾有如下一段评语：“宋邓支队深入冀东，苦战数月，配合并促成地方党所领导的冀东起义，建立了冀东游击区，取得了成绩。但是由于没有尽可能地保持和发展这一胜利，以致退出原地区，军队及群众武装受到相当大的损失。”①聂荣臻认为，这个结论是极为正确的。1939年1月，他在晋察冀边区党委和晋察冀军区联合会议上讲话①《毛泽东年谱》中卷，人民出版社、中央文献出版社1993年12月第1版，第86页。
①《毛泽东年谱》中卷，人民出版社、中央文献出版社1993年12月第1版，第97页。
中指出：“这次挺进冀东给我们的教训是，创造新的根据地不是容易的，是长期性的，不是一下子就可以干好的事情，特别是不能有抓一把就走的思想，而要着眼于在激烈的斗争中建立根据地。基于这样的认识，我们在冀东还需要认真执行这个任务，继续完成这个任务。”
1939年2月，根据中央指示，成立了以萧克为司令员兼政治委员的冀热察挺进军，重新组织力量进军冀东。坚持冀东斗争的部队在李运昌、李楚离等人领导下，积极发动群众，打击敌人。到1940年，冀东终于成为一个拥有560万人口的冀热辽抗日根据地。它的发展巩固，像刺向日军咽喉地带的一把尖刀，而且为日后收复热河、解放东北准备了突击力量和前进基地。
在开辟冀中、冀东根据地的过程中，聂荣臻还命所部逐步开辟了平西、平北根据地。北岳、冀中、冀东、平西、平北根据地的建成，使晋察冀抗日根据地形成了完整的体系。