蒋介石用人从来都是本着“人才兼奴才”的原则，本来对于徐恩曾，自以为培植了一条最忠实的走狗。以干特务工作来说，徐恩曾确实是个人才，长期领导中统，为蒋介石立下了汗马功劳，其忠心耿耿的奴才程度，蒋介石也是极满意的。
但1945年，即徐恩曾担任中统领导职务的第15年，蒋介石却突然颁下了“撤去徐恩曾本兼各职永不录用”的手渝。l月30日手令下发，2月1日上午9时即举行交接仪式。徐恩曾最主要的职务中统局副局长（与军统的戴笠一样，正局长由他人兼却并不管事）丢掉了，其速度之快令人咋舌。
半个月之后，他所兼的交通部次长被免去。1945年5月，他的国民党中央委员一职也落选。
徐恩曾的被撤职。当时一般人均感到莫名其妙。其实原因很简单，他的一些所作所为引起了蒋介石本人的严重不满。
徐恩曾本人极贪恋女色，本身已有两个老婆。后来又爱上中共叛徒费侠，此人早年留学苏联，后与中统特务组织挂上了钩。徐恩曾如果光与费侠勾搭倒也罢了，不料爱之弥深，徐恩曾非要与费侠结婚不可。陈果失、陈立夫一致认为不妥，他们怕费侠曾为中共党员，多少会影响徐恩曾，干特务工作不利。因之他们力劝徐恩曾以事业为重，不要与费侠结婚。不料徐已被费快的姿色深深迷住，竟向陈氏兄弟表示：如果因此不能做中统领导人，也要与费侠结百年之好。弄得二陈无可奈何识好上报蒋介石。蒋也认为是一个问题，竟因此事召见徐恩曾询问：“你驾驭得了她吗？”徐恩曾仍坚持己见并表示毫无问题，蒋介石见他意志坚决，也只好默允。这件事徐恩曾虽然拂了蒋介石的意愿，但因徐恩曾对蒋忠心不二，且反共坚决，又颇具才干，蒋对他的这件婚姻之事虽有芥蒂，但并无影响。
真正引起蒋介石不快的是在徐恩曾兼任交通部政务次长之后。1941年以前，蒋介石一直认为中统开展工作还可以，但后期在反共活动上却远远落后于军统，就是因为徐恩曾不像戴笠那样，甘心专心始终如一的以搞特务工作为己任。1941年徐恩曾被任命（兼任）交通部次长以后，蒋介石专门予以召见，谆谆叮嘱他：派你担任交通部次长，目的是要你在全国范围内在交通方面布置一个完整的调查网。蒋介石的意图很明显，是让徐恩曾借交通部次长的便利条件，强化中统在铁路、公路、轮船、飞机等各个系统的特务统治。
但徐恩曾却有些昏了头。他一直想利用中统的势力向上爬。在担任交通部次长以后，他还到处联络，疏通关系，为争取当经济部长奔走不已。致使中统的业务工作漏洞百出。蒋介石早有觉察，他以为徐恩曾不听指挥、不务正业才导致中统落后于军统。而且，徐恩曾能当上中统负责人，是陈氏兄弟的功劳。本来徐对二陈是感恩戴德的。但后来徐恩曾为了向上爬，逐渐疏远二陈，投入国民党中央秘书长吴铁城怀抱，并倚靠吴取得交通部次长一职。二陈以为，中统得到交通部次长职位，对中统特务工作发展有利，尚隐忍不发。待徐恩曾再欲争夺经济部长职位时，便引起陈氏兄弟的气愤，因为陈立夫恰好也想争取经济部长的职位。当他们看到徐恩曾的离心倾向后，在蒋介石面前就不再为徐恩曾说话，并还推荐他人为徐的继任。
1943年开始，徐恩曾到处组织有关经济问题的计划，直接送给蒋介石，希图引起蒋的注意，争取当上经济部长。但蒋认为徐恩曾并不懂得经济，认为如果按他的计划办，只会“徒生滋乱”。这实际是蒋对徐的轻微警告。不料徐利令智昏，便利用中统职权千方百计找经济部问题，以打击经济部长翁文颁，使其下台。
有一次，中统特务发现经济部某职员有共产党的嫌疑，徐恩曾得知，如获至宝，马上下令重庆区特务到经济部抓人。谁知特务行动受到经济部大多数职员抵制，逮捕行动失败。翁文濒也十分愤怒，认为不通过部长抓人太不尊重人格，马上到蒋介石那里告了中统一状。
蒋介石本来已对徐恩曾窥测经济部长职位、不安心本职工作十分不满，而且中统公开捕人亦不利于蒋的统治形象。蒋介石先下了手令，对徐恩曾大加申斥，警告徐恩曾不得滥加捕人，捕人应由有权机关办理，中统局只是党务机关。
确实，中统公开抓人违反了中统的一贯作法，这也可见徐恩曾欲倒经济部长翁文颁的急迫之心。蒋介石后来犹不解恨，又亲自召见徐恩曾，将其大骂一通，勒令他将执行这次任务的中统重庆区头目及具体人员一律撤职，扣押查办。
这件事的风波仅平息一、二个月，到1943年冬，一向与中统有矛盾的军统将徐恩曾第二个老婆王素卿在成都放高利贷、做投机生意、逼死人命的不法行为，一古脑密报蒋介石。蒋介石在中统、军统、宪兵等各单位召开的“甲种会报”会议，痛斥徐恩曾“你应该好好管教管教”。蒋一贯对部下不听指挥不务正业和贪污最为不满，这是借徐恩曾老婆的不法行为再次申斥徐恩曾。
1944年4月，又在一次“甲种会报”上，蒋介石向特务情报机关负责人询问河北、山东中共敌后抗日根据地及中共抗日武装情况，因徐恩曾精力都用到钻营官位上去了，事先没有充分准备，一时张口结舌，顾左右而言它。而戴笠则精心准备，口若悬河说得头头是道。蒋介石大发脾气，严责徐恩曾没有集中精力办事。
随后在国民党的一次中央全会开会期间，忽然在国民党中央党部发现一条标语，赫然大书：“总裁独裁中正不中”。徐恩曾不敢怠慢，马上报告给蒋介石。蒋介石严令徐恩曾必须彻查予以严办。虽然，徐恩曾动员了庞大的特务网，费时日久，始终未能破获此案，也无法向蒋介石交待。这更引起了蒋介石的愤怒，他又一次严厉斥骂徐恩曾：“在我们的心腹重地，出现这等事，既未能事先加以防止，事后又不能查出究竟，实在有亏职守。”
一波未平，一波又起。蒋介石在1944年秋又在一次“甲种会报”上第五次严厉责问徐恩曾：“共产党造谣言，说我与护士同居，破坏我的威信，你为何不对我报告？”《新华日报》天天登载反对我、反对党国的言论，你为何不负责任，听任其发行传播？这充分表现了你的腐败无能！”措施之严厉真是前所未有。
当时重庆广为流传着蒋与某女如何如何的流言，早已是公开的秘密。徐恩曾认为“没有报告的价值”，主要怕报告了蒋恼羞成怒，又要彻查。据说流言都是从蒋的侍从人员中传出来的，徐恩曾觉得多一事不如少一事。至于中共的《新华日报》，不惟中统，连军统、三青团等单位一直在拼命破坏，同样不能阻止《新华日报》的发行。有这样一个真实的小故事：某一次军统重庆稽查处处长陶一珊，在戴笠面前夸口，他已有办法让《新华日报》第二天不在重庆露面。他的办法是让军统特务带领流氓打手分别在各要道路口把《新华日报》报童的报纸全部抢光。第二天，报纸果然没有来，陶一珊正打电话向戴笠报功时，报纸都到了--只不过比平常迟到而已……这说明，军统办不到，中统也不可能有更高明的办法阻止报纸的发行。但蒋介石单拿徐恩曾加以痛斥责骂，这足以说明问题。徐恩曾此时才有所醒悟，但为时已晚。
其实，蒋介石不光当面加以痛斥，在一些书面文中也常常加以训斥。如 1944年蒋介石的美籍顾问拉铁摩尔访问解放区，归来写了报告呈蒋介石阅。内容叙述解放区如何振作，组织如何之好，特务汉奸在此无任何活动缝子可钻等等。蒋介石越看越心头火起，批阅给徐恩曾，警告他“如再因循泄沓，尸位素餐，将来死无葬身之地矣”。
还有，蒋介石很重视与汪伪集团的打入、联系工作。但徐恩曾是个亡国论者，曾哀鸣：“我们拿什么来同日本人打？枪炮不如人，训练不如人，工业更不如人……”等等，与汪精卫的卖国言论如出一辙。所以，中统在这方面成绩不如军统。虽然戴笠也反共，但他在抗战问题上却属于黄埔系少壮派主战阵营，对除奸、联系汪伪很卖力气。所以这一点也导致蒋介石对徐的失宠。
另外，军统、政学系等一直与中统勾心斗角，不时在蒋面前打小报告。蒋介石早已不信任徐，竟安排了郭紫峻、顾建中两个副局长牵制，这也是违反蒋介石在特务系统中只委任一人专司其职的做法。加上二陈的见弃，徐恩曾的倒台终于不可避免。
这个坚决反共十五年之久的中统特务头目，终于最后被蒋介石一脚踢开。徐恩曾后来办过“机械农垦公司”、“中国打捞公司”，发过投机财，但政治上却很寂寞；除竞选过一次“国大代表”外，闲极无聊时常常在家里放电影、开舞会。
他曾有过一番表白，反映了他的内心想法。他有一次对朋友说：“中国历史上最著名的大特务莫过于武则天时的来俊臣。周兴，声名赫赫，但最后都被武则天设计所杀。武则天之所以杀二人，是因为他们知道隐私太多了。”徐恩曾感慨不已：“自古大特务都是不得好死的。”他不无辛酸的自慰：“自幸只是被撤职，而没送命”。
1949年3月，他与其妻费侠从上海逃往台湾，渡过默默无闻的一生。