由于徐恩曾内心看不起特务工作，导致他企图通过向上爬达到能摆脱中统的目的，并表现出对政治的浓厚兴趣。这就又犯了蒋的大忌。从而註定了徐迟早必垮台的命运。事情缘起于1941 年春，经侍从室三处主任陈果夫、中央党部秘书长吴铁城推荐，徐就任交通部政务次长。当初，蒋为此召见徐，明确告诉他，这个安排是要求他利用职务之便，推进特工活动。但徐恩曾不听招呼，居然企图以此作为进身之阶，向政界发展。同时，二陈也认为徐恩曾此举是一种“猎官”的离心倾向，有背叛CC 系之嫌，也不肯再为他在蒋面前说话。本来，徐恩曾在国民党五全大会上以仅次于陈立夫的高票当选为中央委员，早已使CC 圈子里的人为之侧目。加之，徐恩曾因“猎官”的需要，放鬆了对内部的控制，兼任中统局长的中央党部秘书长朱家骅与另一位中统副局长郭紫峻联手向蒋参了徐恩曾一本，更使徐在中统内部处于不利地位。
因而，早在1943 年，蒋就已经有意撤换徐恩曾，后由陈布雷通过徐的好友侍从室第四组组长陈方传出话来，要徐专心中统工作，毋触蒋怒。徐也为此安心了一段时间，这才避过风头。不过，这时蒋已不放心徐，在徐身后又安排了顾建中、郭紫峻两个大特务任副局长，以便对徐起抑制作用。与徐的心猿意马相反，戴笠不但安心军统工作，而且谢绝加入国民党，谦让中央委员，多次向蒋解释“过去一心追随校长，不怕衣食有缺，前途无望，入党不入党，决不是学生要注意的事，高官厚禄，非我所求”。并说“只要校长信任，就感到莫大的光荣了”。一切“唯校长信任是图，‘党官’二字是无所谓的”。
蒋由此深为感动，也就对戴放鬆了一些戒备。以至军统局始终只安排了戴笠1 位副局长，以便使他能全权负责。唐纵的帮办其实更多的只起监视作用，并不与戴分权。况且唐纵以侍六组的工作为主职，对军统活动只是当戴不在重庆时兼顾一下。于此可见蒋对徐、戴不同的态度。
除了政治上的原因以外，徐在经济上的所作所为也与戴笠大相径庭，因而也加速了他的垮台。抗战时期，大后方物价飞涨，国民党机关的一般小职员仅靠薪水生活也是相当清苦的。即使中统机关，也不能倖免。徐恩曾又没有戴笠的那些有利条件去搞走私、贩毒品、印假钞，当然也是囊中羞涩。偏偏徐恩曾又是个极势利、极吝啬的小人，处处在经济上算计中统特务，以贪污自肥。他在中统搞什么“联谊会”，从特务们的工资中强制扣发百分之十的月薪作为基金。结果这些钱被徐弄去办农场、商场，所得全部落入徐的腰包。平时，徐和费侠出差途中在外饮食，叫下属掏腰包，而自己一毛不拔。
徐的这些所作所为，导致了中统内部的离心离德，不少有真才实学的特务自谋出路，跳槽到其它部门，还有的中统特务则暗中向蒋或二陈告发徐的劣行，弄得蒋很有些看不起徐的品行。在这一点上，戴笠的做法恰恰与徐恩曾相反。
戴对手下的特务虽然严厉，但在生活上却十分关照，工资定得相当高，额外津贴、奖金也十分优厚，平时更是注意抓伙食改善，以至经常抽出时间下厨房，检查特务们的膳食情况，或者亲自到大厨房与特务们一起就餐等等。如此，特务们不但不肯离开军统，而且都能拼命工作，以求得到更多的奖金和津贴。因此，即使徐恩曾的个人生活享受，比起戴笠来，简直有天壤之别，但是，徐的内外名声却比戴笠更为恶劣。
徐恩曾并非庸人，他与戴笠一样，十分工于心计，阴险毒辣，不在戴笠之下。因此，就内部驾驭来说，徐虽然一派儒雅气质，言谈举止全无戴笠那种张牙舞爪的样子，但中统的高级骨干仍然对徐十分畏惧，原因就在于特务们十分了解徐的为人，一言不合，就可能带来后患。就外部环境来说，徐恩曾经营中统10 余年，因30 年代反共有功，蒋介石初时对他的信任不下于戴笠，在CC 系内部，他与二陈的关係之深，也是CC 系其他分子不能比及的。
可谓根底雄厚，实力很大，然何以失宠于蒋，一败如斯。从根本上来说，徐恩曾的这些性格特点不能见容于蒋。蒋所需要的是戴笠的那种家奴式驯顺的法西斯主义鹰犬。况且戴笠早就在暗中搜集整理材料，在关键时刻，数次给徐恩曾以痛击，徐败下阵来，是可以预料的。
戴笠的倒徐活动首发于一起“假钞案”。1943 年，军统重庆三斗坪检查哨截获中统1 辆满载钞票的专车，经送中国银行验明，这批巨额钞票的票号早在抗战初期即已全部註销作废。原来，1938 年10 月，国民党政府西迁重庆，水、陆、空运输一时十分紧张繁忙。当时，中国银行1 辆满载新钞票的大卡车，在中途经湖北某地一个村庄时，风闻日军将至，押运人员于惊慌失措中竟然弃车徒步逃走。辗转到达重庆后，向中国银行谎报汽车备油已经耗尽，不能继续行驶，已将钞票全部焚毁，等等。中国银行信以为真，乃将该车所载全部钞票号报请财政部註销，并通报各分支银行备查。岂料该批钞票以后被中统湖北省调查统计室发现，乃报请局本部指示处理办法。徐恩曾是见钱眼开之人，接到报告后不加思考，指示湖北省调统室派专人将所有钞票向重庆运送，结果落入军统手中。戴笠闻报这