蒋介石发动前三次围剿时（1931年底和1932年），毛泽东依然牢固地掌握着军事领导权。蒋介石很轻视红军的力量和技术，又不了解群众政治工作的重要性，他企图用军阀的杂牌部队对付共产党，在消耗战中达到一石两鸟的目的。这些“被流放的”杂牌军不熟悉当地的情况，他们容易被诱入苏区并被打败。另一方面，红军则依靠快速运动和群众支持，“通常是夜晚行动”并“突然出现，迅速消失”，国民党官方的《剿匪战史》对这种情况作了很好的描绘：
当国军进入一个地区，那儿几乎没有人。剩下的老弱病残被共匪的地下组织所控制，因而不敢和政府军队谈话。有时他们甚至帮助共匪阻碍军队前进……国军对共匪的情况知道得太少了。
第二次围剿（1932年5 月至6 月）出现的情况大致相似，在这期间共产党的群众工作有了明显的进步。国民党的官方记载抱怨说：“共匪把粮食和人都带走了”；老百姓破坏政府军后面的桥梁，不向他们提供消息，甚至伏击他们；老百姓还骚扰政府军的供应线，以致需用整团的兵力来保护政府的传令兵和军需官。
蒋介石现在认识到他正在对付一个棘手的敌人。在第三次围剿时（1932年7 月—10月），他把总司令部设在南昌，并调集他自己的精锐部队，而把“杂牌”军降到后备地位。在陈诚将军（甚至毛泽东也承认他的素质）的有效指挥下，政府军长驱直入苏区，使共产党人感到懊丧。与此同时，蒋意识到县以下没有政府机构，他无法搜集到关于共产党人的可靠情报。他也开始了他的群众工作，禁止强拉挑夫和勤杂工。但1931年9 月18日“沈阳事变”后，正在加剧的对日关系中的危机终于迫使蒋介石很突然地结束第三次围剿。在暂时的喘息中中共回顾了战争形势，并对毛在消灭敌人前诱敌深入苏区的战略提出疑问。结果，在贺龙的洪湖地区苏维埃遭到国民党军队蹂躏后，周恩来于1932年夏代替了毛泽东。
日本引起的民族危机平息后，蒋介石重新执行“攘外必先安内”的政策，于1933年发动第四次围剿。但是红军继续采取躲避战术，速度之快使“政府军在追击中精疲力竭”。红军的群众工作现在已使政府军“无人可用，让我们成为既聋且瞎”。这是中央苏区周围的战争形势。在鄂豫皖，群众工作虽然做得很好，但每当红四方面军受挫撤退时，却往往变得没有活力而消失了。从1932年5 月起蒋亲自指挥围剿；9 月，鄂豫皖苏区被破坏，迫使张国焘和徐向前进行可说是他们的第一次长征，前往四川北部。在那里，本省第24军和第29军之间的战斗为红四方面军提供了一个建立新苏区的机会。
1933年底第五次围剿开始时，中央苏区已失去鄂豫皖和湘鄂西的支持，虽然贺龙正在湖南西北部开辟另一个苏区，方志敏在湖南和江西边界及萧克在老井冈山根据地仍有较为弱小的苏区。现在蒋学对手的样子，比较重视政治工作，并改变了他的战略。在政治方面，他在1933年夏组织军官训练团做为基础；大约有7000名军队干部接受了训练。然后他在中央苏区各处实施行政、经济、社会和教育等工作的军事化，使国民党政府、党和军队通力合作，全力击败共产党人。在基层，他对1934年的春播给予帮助，恢复被称为保甲的联保制度。生活在苏区各处的老百姓被迫搬进标准的“战略村”，并被置于保甲之下，以建立一圈无人地带，意在封锁和饿死共产党人。他们开始实施一项筑路计划，雇佣了20000 名工人修筑700 英里公路，以增加蒋介石军队的机动能力。同时广泛采用了无线电设备、电话和飞机来改善部队之间的协作。在执行这一切的同时，蒋介石的军队稳固而缓慢地向前推进，沿入侵的路线构筑碉堡。换句话说，这是战略上的进攻伴以战术上的防御，它使毛的诱敌进入苏区的老战略过时。“没有必要去寻找共匪的主力部队，我们只要去占领共匪一定会出来作战的战略要地。”这就是蒋在1933年10月17日下达的指令。在这种情况下，红军被迫把进攻性的运动战转变为防御性的阵地战。具有讽刺意味的是，蒋把他的这一战略描绘为愚公移山。的确，红军并不愿意打一场单纯的防御战，虽然毛在1935年1 月的遵义会议上就此指责当时的军事领导人。但是，根据周恩来的看法，防御性的阵地战已不可避免。
这[ 堡垒战，阵地战和夜战] 在当时是避免不了的，所以我们就这样做了。但是我们主要的作战形式当然仍是运动战。在目前[1934 年2 月] 的形势下，我们常常看到一次运动战的遭遇战很快转变成为阵地战。
国民党的堡垒战术经历了两个重要的阶段。起初只有少数碉堡，每个碉堡由一个连或者一个排的正规军守备。在1933年11月，修筑了较多的碉堡，碉堡之间仅相距2/3 英里，通常由一个班或者最多一个排守卫。在这种情况下，堡垒形成一个支持网，而一个团的兵力能防护13或14英里长的战线。第二个变化发生在1934年初，当时民团受命守备堡垒，而正规军则转向承担进攻的任务。在这一阶段，红军的火力已大为削弱，以致国民党军队构筑的土碉堡比砖碉堡多。
当碉堡线收紧时，红军把他们的阵地战转变成闻名的“短促突击”，这一战术是林彪发明的。红军依靠构筑“支撑点”——这是共产党人的碉堡——在距国民党几英里的范围内运动。红军希望利用其速度和良好的组织在敌人构筑碉堡时进行攻击。在支撑点周围协调作战的部队需要电话，但红军几乎没有电话。支撑点本身很难经受国民党重炮的轰击。总之，这种战术行动没有达到红军的战略要求。1934年4月广昌决战后，看来是最后手段的游击战重新引起党中央和军队的注意。但在这一斗争阶段恢复游击战，主要是为牵制敌人，意在赢得时间最终从中央苏区撤退，并再次动员群众在红军撤退后重建游击根据地。1934年8 月20日，周恩来在军队的机关报《红星》上发表文章指出：共产党战略的最薄弱的环节在于游击战没有深入敌后；在撤离后二年，毛评论说：
当“围剿”已经证明无法在内线解决时，应该使用红军主力突破敌之围攻线，转入我之外线即敌之内线去解决这个问题。堡垒主义发达的今日，这种手段将要成为经常的作战手段。
可能出于这种考虑，1934年7 月方志敏的红10军团奉命从江西东部转向浙西和皖南，表面上是对日作战，但事实上是转移蒋对中央苏区的注意力。8 月，萧克的红6 军团奉命突破封锁线，与贺龙在湖南西北部会师。最后，当时已大为缩小的中央苏区于1934年10月被放弃，留下项英、陈毅、粟裕等人在分散的游击“飞地”孤军作战数年，直到1938年新四军成立。在华中，只留下贺龙和任弼时领导下的小块苏区。更北方有张国焘在川北的苏区以及刘志丹和高岗在陕北的苏区。在蒋介石的压倒优势下，红一方面军开始长征时，1927年以来艰苦开创的局面现在已被摧毁。
这一史诗般的逃亡，行程约6000英里，在大约一年的时间里翻越十几座大山，跨过了二十几条河流。历史上很少有意志征服环境的伟绩能与之相比，历史也不能提供一个更好的不间断的即时行动的例子。几乎没有疑问，长征的第一个目标是与贺龙领导的红二方面军会合——这一意图没有逃脱蒋介石的估计。蒋似乎已经意识到在苏区西南角上的包围圈有缺口，这可能给红一方面军潜入粤北和广西提供机会。当收紧包围圈为时过晚时，蒋希望利用红军入侵的新形势，解决由军事反对派领导的西南政治分会的棘手问题。但广东和广西的领导人没有进行多少战斗就让红军通过了。他们仅实行焦土政策为即将到来的红军制造困难。因此他们不需要蒋用来诱使他们听命的军事援助。在确信红一方面军的意图后，蒋在红一方面军与贺龙之间布置了四道防线，使两支红军决无可能会合。红一方面军渡过湘江，10万战斗员和非战斗员损失近2/3 后，政治局领导人在贵州边境附近的黎平（现属贵州）举行了长征中的第一次会议；与红二方面军会合的计划被放弃，而采纳了进入贵州的决定。这是1934年12月的事。四川北部红四方面军的张国焘和徐向前，接到了关于这一决定以及中央拟在川西北某地与他们会师的计划的通知。计划中的路线将在宜宾（叙府）渡过长江。
红军于1935年1 月到达遵义后，突然出现从北面、南面和东面威胁四川的态势。这种令人惊恐的形势，给蒋一个机会把自己的军事和政治势力插入这个省；而红一方面军自10月以来才得以第一次喘息。红军是在1935年1 月7 日占领遵义的，并于19日离开这个小城，在这段时间，军队得到整编，而党的领导人召开了历史性的政治局会议。遵义会议决定取道桐梓、松坎和赤水，按原计划进入四川并在宜宾渡过长江，与红四方面军会师。当这个计划因敌人加强防守而受挫时，红一方面军不得不选择另一条路线。据政治安全局局长邓发说，北上与红四方面军会师的目的是逼近日军，并在没有蒋和他的联盟者参加的情况下进行一场民族解放战争。另一个目的可能是寻找“与俄国联系的可能性，这样也就不会[ 再] 被包围了”。
在战略上，遵义会议标志着一个新阶段的开始。在这以前，红一方面军不得不在腹背受敌的情况下对敌作战，因而遭致巨大伤亡和离队。经过11天休整后，红军主要担心的不是前面不堪一击的黔军，而是后面尾随不舍的国民党军。整编队伍和抛弃辎重使军队能够重新进行运动战，并运用快速和佯攻摆脱了尾随在后的薛岳将军和周浑元将军统率的部队。
在这个时候，张国焘虽然没有受到来自中央和地方军队的不寻常的重大军事压力，却放弃了他的苏区。他自己对这一行动的辩解是为了迎接即将到来的红一方面军，而毛泽东主义的历史学家们则指责他犯“逃跑主义”。张采取的路线引导他的部队渡过嘉陵江，取道Nan —t ′ung 、剑门、剑阁、梓潼，然后渡涪江经江油，最后渡过岷江到达理番和懋功。张面临另一种选择，北上与刘志丹和高岗会师。如果他真这样做，并听任毛泽东和贺龙在南方受命运的摆布，那么整个共产主义运动在政治上可能会降到无足轻重的地位。张的实际行动削弱了红一方面军又保存了它，然而这给了他一种军事上的优越条件，从而有可能导致他赢得党的最高政治权力。以后的事件足以证实，1935年2 月张的明显的狡计原来是他在长征路上所犯的第一个主要错误。然而，哪一种选择都意味着他是一定要放弃他的苏区的。
就已知的情况而言，遵义会议避免了政治上的争论，集中批判了导致丧失苏区和长征开始阶段严重失败的军事路线。在毛起草的决议中，他无情地抨击了“单纯防御”战术：在1933年冬至1934年福建事变中，不愿利用蒋介石集团中的矛盾，拒绝作战略撤退，并为击破包围而将主力转移到敌方堡垒线后面，以及长征准备不足。由于王稼祥负重伤、周恩来承认错误、张闻天向毛靠拢，以及德国顾问奥托·布莱恩受贬，党的领导陷入极度混乱。在回忆1927年8 月7 日会议往事的气氛中，遵义扩大会议——包括对领导层不满的军方代表——选举毛泽东为三人领导小组的第一把手，这个小组还包括周恩来和王稼祥，以代替党的军事委员会，而苏维埃政府军事事务委员会仍由朱德领导。此外，毛再次进入政治局，可能是张闻天领导的中央书记处的一名书记。
当红一方面军与红四方面军于1935年6 月12日在懋功会师时，有两个要点引起了争论——第一点，是遵义会议的合法性，因为那时有几名政治局委员甚至不是1928年六大选出的中央委员。他们包括秦邦宪、张闻天、王稼祥和朱德。第二点，也是更重要的一点，关系到中国苏维埃运动的前途，但在遵义会议上回避了。在懋功，形势有所不同。张国焘想向包括毛在内的新领导的合法性挑战，并改变革命的进程。
一般认为在两军会合时，与毛泽东的精疲力竭的红一方面军相比，红四方面军兵员多，装备好，只是训练较差。张国焘完全知道中共缺乏通过委员会讨论解决党内争端的民主传统，但他同意召开1935年6 月24日的两河口会议。由于他的军事优势和确信苏维埃运动注定要失败，他或许希望他能使党的大多数领导人支持他，因为这些人，也只有这些人，处于能使他的政治建议合法化的地位。这时张依然和党一起工作；他还不是一个分裂主义者。他的亲密同事陈昌浩曾问他一个关键性的问题：“如果你弄清并批评中央的错误以促使领导垮台，结果会是什么样呢？”张没有记下他的回答；他也没有批评领导。他宁愿在会上争论苏维埃运动过去是否成功，讨论如果他们全部北上与高岗、刘志丹会师，前途将如何。换句话说，他在会上所提出的不是他的最高要求——要中央领导做检查，而是他的最低要求——从小处着手，在一次高级干部会议上决定以少数民族联合为基础的西北自治政府代替苏维埃政府。据推测高干会议将包括较多的红四方面军代表。如果他的自治政府的建议被采纳，他将获得他所觊觎的党的最高领导权。
但张国焘的建议将会抹去共产党领导的政府的阶级基础。尽管这个政府有一个温和的社会纲领，包括重新分配土地和废除苛捐杂税，但它将不再是一个社会主义政府。因此他的政策建议无异于把中共改变为一个少数民族党。毛获胜并不令人惊奇。但为了团结，采取了一个折衷办法，改组了军事委员会，毛继续担任主席，张国焘和朱德担任副主席。张愉快地接受了这一折衷方案。
为了弥合其他分歧，8 月5 日召开了毛儿盖会议。当时在那里没有人知道徐海东的红25军团的行踪，也没有人听到莫斯科正在制定新的统一战线战略的传闻。会议没有再次考虑张的建立新政府的建议；它集中研究北上问题。张国焘要求召开高级干部会议的建议当场被否决，因为涉及党的事务不应只由两个方面军的代表讨论，代表的正当权限在于军务，如指挥系统和北上本身。关于指挥系统，朱德任命自己为总司令，以张为总政治委员。一切战略问题都由总司令部决定，最后由以毛为首的党的三人军事小组批准。因此，作为握有最后决定权的军委主席的毛泽东位居朱和张二人之上。不存在毛不服从张的问题，只是张蔑视毛。
这一蔑视表现在张国焘对“北上”的不同解释上。毛泽东的目的地是陕北苏维埃，但是张在会上争辩说，在决定长征下一步之前，部队至多只应到达甘肃的岷山和甘南。张最为恼怒的是，毛开始与东路军一起前进，张认为这是毛轻视他的权威。在毛看来，张要求返回阿坝完全是不服从命令。这场争执后面隐藏着关于苏维埃运动前途的争论。如果这场运动被评定为成功的，而且继续下去会有前途，那就有充分理由前往陕北。如果苏维埃运动被判定是一次失败，那么最好重视张的劝告，把自己封闭在偏远的西康- 甘肃的群山之中，以待来日。从个人的角度考虑，接受张的判断和建议将导致接受张的领导以及所包含的一切。毛不能这样做。
由于毛泽东拒绝返回南方，中共分裂了。此后不久，张国焘在卓克基召集了蓄谋已久的高干会议，成立了临时党中央，以张为书记。部队由临时中央指挥。三个月后，张的西路军遭到恶运——天气开始转冷，而四川军阀刘湘一再击败张的部队，迫使他们撤退，深入西康和青海。同时陈昌浩进军甘南的企图遭到蒋军阻挠。使张前途更加暗淡的是，他向西北军阀杨虎城提议订立一个互不侵犯协定，但受到冷遇。
同时，贺龙领导的红二方面军于1935年11月12日开始长征。如果没有国民党在湖南西北部重兵防守，贺龙可能一路向北与毛泽东会师，不必跋涉半个中国。另一方面，广东和广西的混乱状况给贺龙入侵南方提供了机会。他大致尾随红一方面军的足迹，到达西康与张国焘会师，当时受挫的张国焘被迫与毛的中央再度联合。林彪的叔父林毓英曾从莫斯科带回重新统一的折衷方案。新到的领导人任弼时、关向应和贺龙利用这个机会联合朱德和刘伯承，催促张北上。张解释说，他长时间推迟重新开始长征是因为要训练他的部队，使他们能在甘肃走廊对付回族将军们的骑兵。当然他并没有这样做。直到他被说服重新长征以前，他并未着手制订一项准备渡过黄河与回族骑兵作战的训练计划。但是现在他的目的地不是他的劝说者们所期望的陕北，而是黄河以北甘肃走廊某个地方。这个狡猾的计划是把毛的陕北根据地作为他的抗日前线，同时利用新疆或苏联作为他的后方。如果拟议中的统一战线形成，抗日战争爆发，毛的军事力量将消耗在作战上，而张在毛后面保留自己的部队，又有俄国人支持，将成为中国共产主义运动中唯一的强人。从另一方面考虑，渡过黄河对西路军也是必要的。如果要避免与蒋介石的军队进行艰苦的战斗，并避免冒被赶回毛儿盖陷入绝境的危险，西路军决不能留在黄河南岸。渡河后发生的事情出乎张的意料之外。西路军被国民党的回族骑兵歼灭。张向毛的领导地位挑战的希望也随之破灭。在政治上，他已不再是一个有分量的人了。随着他的分裂主义破产，他的背叛开始了。