到了香港，杨石魂与中共广东省委取得联系，把周恩来安置到九龙油麻地广东道的一处住所治玻一天，叶挺和聂荣臻化装成老百姓，到省委机关接头。省委机关的人见他们衣衫褴褛，不晓得是什么人，而他们又忘记向杨石魂问接头的暗号。接头不成，只好找了一家小旅馆住下，便去买衣服等物品。聂荣臻身上分文不名，叶挺带了很多百元一张的港币。两人穿着破烂而手持大票，店伙计不信，说是假票，叶挺一听便生气，把一张百元大票扯了，又拿出一张。聂荣臻怕引起怀疑，拉着叶挺走开，说道：“老总啊，你这个态度不好，人家一看你这样大方， 100块钱随便扯了，是会引起怀疑的。”
他们又换了个店铺买了衣服。不久与省委接上了头。过了半个月，中央通知周恩来到上海参加中共临时中央政治局扩大会议。11月初，聂、叶送周恩来从九龙深水埠乘船赴沪。
聂荣臻随即分配到广东省委军委，负责省委军委的日常工作。军委成员还有黄锦辉、杨剑英。军委书记由张太雷兼任。
对于广州起义，在省委讨论时，聂荣臻持不同意见。他说：“总的说，南昌起义刚失败，没有配合的余地，另外一方面，广州的工人纠察队已经解散，革命已经进入低潮。”他不同意搞这次起义，一再表明自己的观点。
聂荣臻的意见是正确的。“四·一二”政变后，广州发生了“四·一五”事变，革命力量遭到摧残。在广州的香港罢工工人大部被迫回到香港，主要工会多数变成了黄色工会，共产党能领导的仅有印刷工会、汽车司机和人力车工会等少数几个，广州附近仅有少数农民赤卫队。主要力量是叶剑英领导的第四军教导团。敌人则相当强大：李济深、张发奎、黄绍竑、薛岳、李福林等几个军就在广州附近；粤、桂两派军阀虽然正在为争夺广东地盘而厮杀，但一旦起义，他们就会掉过头来，联合对付起义军。面对如此强大的敌人，起义不可能成功。
但起义是中央决定的，不能改变。省委和省军委的成员陆续到广州集中。
对于起义的具体部署，也存在着严重分歧。
起义的主要领导人张太雷不懂军事，完全依靠第三国际顾问诺伊曼。诺伊曼是德国人，作为国际代表来指导这次起义。他也不懂军事，提出广州起义应照搬十月革命的模式：先发动工人罢工，上街游行，然后发展成暴动。
聂荣臻等人一再和诺伊曼争论，说明中国的情况与当年俄国的情况不同，不能照搬。发动起义的时间，诺伊曼主张白天搞，聂荣臻等人建议夜间搞突然袭击。对这个正确的意见，诺伊曼听不进去。领导这次起义的一些省委领导人，勇敢、热情，但缺乏军事知识，诺伊曼等人说了算。因此，在起义的部署、作战指挥方面，一开始就有许多错误。
起义的日期决定在12月12日。聂荣臻的主要任务是同各方面进行联络，了解情况，筹划军火。他在八旗会馆对面租了间房子，由杨剑英留守，作为军委的联络点。
起义前夕，发生了一起意外事件：运手榴弹的行动暴露了。起义用的手榴弹是在乡下制造的，分散运往城里，储存在大北街一家米店。运送中被敌人岗哨发觉，米店跟着暴露。
这使敌人警觉起来。张发奎急令黄琪翔把军队从前线调回来，还下令调另一部分军队向广州集中。12月10日，张发奎宣布特别戒严令，准备立即缴教导团的枪械。
面对这种情况，起义指挥部不得不迅速决定，起义提前到12月11日凌晨。因为时间仓促，担任起义总指挥的叶挺匆忙从香港赶到广州，没有参加讨论。12月11日凌晨，教导团首先行动。他们处决了反动派派来的代理团长朱勉芳，又与工人赤卫队联合，分路向重要据点进攻。至当日中午，广州市珠江以北的公安局、观音山、广九车站、电灯厂、中央银行全部被起义军占领，未占领的仅剩四军军部、四军军械处、李济深公馆和检察院。
起义军占领公安局后，指挥部设在公安局。在起义的两天中，聂荣臻一直在总指挥部。总指挥部设在原公安局局长朱晖日的办公室里。张太雷、叶挺、恽代英、叶剑英也经常在这里。
枪声稀疏，夜晚来临。聂荣臻和叶挺在指挥部的小楼上商量次日的战斗部署。下一步应该怎么办？必须迅速确定。他们商讨过后，催促起义领导人立即开会。当天子夜时，起义领导人在这里召开会议，研究形势，讨论下一步行动。叶挺分析说：广州周围敌人兵力太多，而且近在咫尺，一旦组织起来反扑，形势对我们很不利，最好不要在广州坚持，把起义队伍拉到海陆丰去。聂荣臻发言，完全同意叶挺的意见。但诺伊曼认为起义只能进攻，不能退却，还声色俱厉地批评叶挺：“你这是想去当土匪！”把叶挺的正确主张顶了回去。叶挺在两次起义中都独具慧眼。聂荣臻很钦佩叶挺军事上的真知灼见。他也认为，眼下，起义军只有转到农村地区才能保存实力，避免重大牺牲。张太雷等人还是听诺伊曼的意见，下令固守阵地，向尚未攻占的据点进攻，并召开工农兵大会，宣布成立苏维埃。这个决定，为广州起义，连同张太雷本身，都带来了悲剧性的结局。
凌晨两点，下达了继续进攻的命令，执意要肃清几处敌军占据的地方。
这一天，情况诚如叶、聂所预料的那样迅速恶化：一早，在珠江南岸的李福林第五军在帝国主义军舰炮火支援下渡过珠江，从四面八方向市中心推进，起义军虽然奋勇反击，但终因实力过于悬殊，只好步步退却。
11日中午，聂荣臻听到观音山方向枪声大作，出门一看，见有许多敌人占领了观音山，正居高临下，向指挥部方向袭来。守卫观音山的是特务团的1个营和部分工人赤卫队，他们正边退边抵抗，形势危急。聂荣臻深知保卫指挥部的重要性，于是动员在指挥部的所有人员，用米袋构筑掩体，进行抵抗。尽管此时起义军的大部分成员从起义开始后，一直没有吃饭，而工事却是用大米袋构筑的，可见起义计划不周的程度。凭借掩体，聂荣臻与一位黄埔军校的朝鲜籍学生守着一挺机枪，拼命向敌人射击。那位朝鲜学生是个机枪射手，打得很英勇。所有在场的起义军也都奋勇射击，敌人一批批应声倒地，渐渐不支，抱头向观音山退却。不大工夫，教导团和工人赤卫队一部赶到，发起反击，重又夺回了观音山这个市区的制高点。聂荣臻这才松了一口气。
在这样的危急情况下，12日中午，起义军领导机关竟在西瓜园召开宣布苏维埃成立的大会，到会的人数寥寥。张太雷主持大会，宣布苏维埃政府成立。他返回总部不久，听说敌人向指挥部扑来，率部分起义军赴北大门增援，途中被敌人的冷枪打成重伤后不幸牺牲。他的牺牲，使整个起义失去了领导核心。
12日黄昏，聂荣臻和叶挺登上财政厅大楼，从这里可以俯瞰广州城。他们纵目瞭望，珠江被夕阳斜晖染得血一样红，空中的淡淡硝烟映着残照。他们的目光落到了广州城制高点观音山上。那是至关重要的阵地，它控制着大半个广州。观音山自清晨就开始了反复的争夺战。敌人拼命进攻，黄昏前重又夺取了观音山。现在，敌人正从山上向山下运动，眼看着阵地要全部丢失。
聂荣臻问：“怎么办？”叶挺站在那里，一动不动地注视着敌人，没有吭声。
显然，诺伊曼严重地挫伤了他。倘若按他昨夜提出的意见部署，不可能出现眼下这种局面。
沉默之后，聂荣臻说：“现在不能再坚持下去了，必须马上撤退，否则起义军就有被全部消灭的危险。我们去公安局处置一下这个问题。”
叶挺没有表示反对。从这次分手以后，聂荣臻就再也没有能见到这位老战友。
1946年4月8日，叶挺在黑茶山遇难，结束了他既坎坷又英烈的一生。
噩耗传来，聂荣臻悲痛万分。4月17日的《晋察冀日报》报道：在张家口公祭“四·八”烈士的大会上，聂荣臻对战友之死，悲痛之极，当他以低哑的嗓音对着大家讲话时，泪水不可抑制地向下掉。这正是他在悼叶挺将军的一副哀挽中所说的，“我哭故人成永诀，普天涕泪失英雄”。这里所说的哀挽是一副长联，情深意切，感人至深。聂荣臻在长联中高度评价了叶挺英雄的一生和他们之间的感情。
五十岁崎岖世路，献身革命，尽瘁斯民，海内瀛寰，同钦气节，两次从征凡七载，流亡异域，苦经十度春秋，反动阴谋空画饼，纵几处羁囚，壮怀尤烈，方期延水堤边，宏抒国是，天丧巨才无可赎，旷古艰难遗后死！
二十年忧患旧交，同学苏京，并肩北伐，南昌广州，共举义旗，一朝分手隔重洋，抗日军兴，血战大江南北，茂林惨变痛陷身，喜今番出狱，久别再逢，孰意黑茶山上，飞殒长星，我哭故人成永诀，普天涕泪失英雄！
聂荣臻回到总指挥部，迎头遇到恽代英、陈郁。聂荣臻对他们说：“形势不对啊！我们要撤退。你们先走。我来下命令撤退！”
聂荣臻勇敢地担起组织撤退的重任。他和黄锦辉研究确定，黄锦辉懂广东话，去通知工人赤卫队，他去通知教导团，向花县方向撤退。
叶剑英领导教导团，聂荣臻没能找到叶，找到了团长李云鹏。他对李云鹏说：“形势不好，马上集合，撤退！”教导团训练有素，在黄昏后便撤离广州， 1200人按建制向花县移动。他们与跟着退到花县的零星人员编成1个师开往海陆丰。
可是，要使工人赤卫队撤出战斗就不那么容易了。工人赤卫队分散在各区作战，难以通知，更难集结。他们没有教导团那种军事素质，在与敌人巷战中，受到很大损失。到13日还在响着他们抵抗的枪声。
为了掩护撤退，总指挥部一直坚持到最后才转移。守卫总指挥部的卫队是有功绩的。这个卫队是崔庸健（后来任朝鲜民主主义人民共和国委员长）领导的，一部分是黄埔军校的朝鲜学员，一部分是中山大学的朝鲜学生。他们仍用米袋子做成工事，在里面架起机枪。前面是一条横街，过街是民房，敌人很容易接近。他们一次又一次地打退敌人的冲锋。在最紧张的时刻，聂荣臻钻进工事，和朝鲜同志一起战斗，吸引了敌人，掩护了起义军主力撤退。
中国人民革命的旗帜上，染上了朝鲜同志的鲜血。
广州起义失败了！
聂荣臻没有走。他隐蔽在自己的住所里。
广州城血雨腥风，敌人哨卡林立，遇到操外地口音的人稍不顺眼就杀掉。
被屠杀的起义志士、群众达5700多人。
聂荣臻机警而遇事不慌。他的四川口音很重，一张口就会暴露。12日夜间，他回住所时，曾被搜身，就是不讲话。商团将他随身带的钢笔等物都抢走了。他回到租用的房屋外边，也不敢叫门，因为半夜叫门会引起怀疑，就在门外直等到天亮才上楼。3天后，看看情况松了一点，他才搭船赴香港。
到香港以后，聂荣臻仍在广东省军委工作，收容并妥善安置了一批来港同志，组织东江的游击战争和派人到张发奎部队做兵运工作，指导两广各地的军事斗争和训练干部。
12月下旬，省委叫聂荣臻去韶关地区通知朱德：广州起义已经失败，不要向广州靠拢。此时，朱德、陈毅率领南昌起义部队余部，几经辗转，驻在韶关，原定是要参加广州起义的。聂荣臻赶到韶关时，朱德已率部转移。他在后面追了几个小时，没有赶上。后来，聂荣臻回到香港，向省委做了汇报。
中共广东省委1928年1月中旬在香港召开会议，对广州起义进行了全面检讨。会议由中央代表李立三主持。他指责省委犯了军事投机和盲动主义错误，决定处分大批干部。聂荣臻和大多数参加领导广州起义的干部对此都极为反感。
3月中旬，周恩来受中央委托到香港，召开广东省委扩大会议，纠正了李立三在处理广州起义善后工作中的错误做法。在省委扩大会议上，周恩来分析了广州起义的历史意义，肯定了起义领导人在斗争中的革命精神，指出起义失败的原因是敌强我弱、没有争取广大农民配合，在战斗形势不利时又没有及时撤退转往农村，对有错误的同志提出了批评，并宣布原来的处分决定无效。周恩来对广州起义正确的善后处理，解决了广东省委内部的争论。
起义失败后，叶剑英也到了香港，对于如何发挥教导团这支力量的作用问题，聂荣臻与叶剑英曾进行过商讨，都认为这1200多人全部训练有素，不应这里敲一下、那里敲一下，把他们当士兵用，应该把教导团这支力量向朱德、毛泽东在井冈山的部队靠拢，支援井冈山的斗争。他们提出了建议，但是李立三和一些省委委员不同意。教导团在东江和海陆丰的斗争中遭到很大的牺牲。后来，聂荣臻到中央苏区，见到毛泽东，怀着十分惋惜的心情谈起这支部队，谈起当时的建议，毛泽东听后觉得有道理，说：“真是太可惜了，那时我们正缺少基层干部，写信向中央要，中央也派不出人来，如果这一千多人能到井冈山来，那可解决大问题了。”①