广州起义后，南京政府继续把“红帽子”往汪精卫头上扣，说他指使张发奎“纵容”共产党举行暴动，吴稚晖还大骂汪精卫是“准共产党”。汪精卫弄巧成拙，原以为同蒋介石合作能捞到一点实惠，没想到一下子处于内外夹攻的孤立境地，甚至面临被桂系暗杀的危险。这时，蒋介石认为时机已到，便劝告汪精卫为了安全起见暂离上海。汪精卫无奈，只得再次亡命法国。
汪精卫一走，蒋介石立即竭力袒护和拉拢汪精卫派系的粤方委员，以此抗衡胡汉民为首的右派集团。胡汉民等认为无法与蒋介石合作，遂宣称不参加国民党二届四中全会。1928年1月25日，胡汉民、孙科、伍朝枢等以出国考察为名离开上海，到海外远游去了。
驱汪逐胡成功，蒋介石的两名主要政治对手被赶走之后，1928年2月，国民党二届四中全会在南京正式召开，蒋介石一手操纵的会议。会议通过了戴季陶起草的四中全会宣言，宣言中攻击共产主义运动是“民族独立运动之大敌。”
l月8日，国民政府特任蒋介石为国民革命军总司令。2月23日，国民党中央党务委员会推蒋介石为组织部长。3月7日又推他为中央政治会议主席。至此，党政军大权又一次集中在蒋介石手中。
蒋介石再次上台后，为了避免“军事独裁”之嫌，特在南京中央政治会议上提议在广州、武汉、开封、太原设四个政治分会，分别由李济深、李宗仁、冯玉祥、阎锡山任政治分会主席。由于冯玉祥和阎锡山通电吁请蒋介石復职，在政治上他们已倒向蒋介石的南京政府，因此，南京政府在长江流域及西北和华北的河南、山西等省统一了政令，只剩下奉系张作霖控制的地盘尚未归青天白日旗下。
鑑于此，国民党二届四中全会决定集中力量，限期完成北伐大业，以消灭奉、鲁军阀为目的，意欲肃清直、鲁、热、察、绥等省区内的军阀武装，彻底实现所谓的“全国统一。”
为了进一步笼络新归麾下的诸侯，蒋介石又祭起了惯用的法宝--结义。他委託部力子向冯玉祥表示想同冯“义结金兰”的意思，冯玉祥则答说：“只要对革命有利就行。”
邵力子将冯玉祥的态度立即告诉了蒋介石，蒋介石十分高兴，急忙亲笔写了兰谱，送交冯玉祥，那帖子上写着的是：
籍贯：浙江奉化武岭
年岁：四十二，生于丁亥年九月十五日
父讳：肇聪 母王氏
安危共仗，甘苦同尝，海枯石烂，死生不渝。
敬奉焕章如胞兄惠存。
十七年二月十八日
谱弟 蒋中正谨订
冯玉祥亲笔写了兰谱送与蒋介石，兰谱写道：
藉贯：安徽巢县竹柯村
年岁：四十七，生于壬午年九月二十六日
父讳 有茂 母谢氏
敬奉介石如胞弟惠存
十七年二月十八日
谱兄 冯玉祥谨订
两换了贴，相互拜了几拜，从此就算是“兄弟”手足了。蒋介石为了让冯、阎等在战场上多出力，遂将冯玉祥的西北军编为第二集团军，冯玉祥为总司令；将阎锡山的部队编为第三集团军，阎任总司令。
1928年3月31日，蒋介石率部渡江北伐。4月7日，蒋介石发表《渡江北伐誓师通电》，声称：“党国存亡，主义成败。”
4月中旬，北伐各路集团军发起总攻。在北伐部队的强大攻势下，孙传芳于6月3日宣布下野，所部归郑俊彦统率，向国民革命军投诚。6月8日，国民革命军占领北京。至此，第二次北伐在军事上告一段落。但是，索绕在蒋介石心头的，还有一块乌云，这就是山海关外的“鬍子”出身的奉系军阀首领张作霖及其统治了几十年之久的东北地区。
孔传芳下野后的第二天，张作霖也不敢留居北京了，他带领一批文官武将出关返回奉天。不料日本已决心除掉这个不肯继续为其效力的傀儡，预先在皇姑屯埋下炸药，将张作霖炸死在火车上。
张作霖被炸死后，奉系核心内部一直隐瞒死讯。当时张学良正率部在邯郸与阎锡山交战，直到他秘密潜回渖阳，才正式宣布张作霖因伤势过重不治而亡，同时，张学良宣布担任东北三省保安司令。
张作霖一死，日本当局和南京政府都派到东北进行活动。日本方面在鼓动张学良宣布独立，南京方面则积极争取张学良，和平解决东北问题。
张学良面对日本政府的威逼利诱，表现了一个中国军的气节。在同日方代表的谈判中，张学良说：“我是中国，所以我的想法当然是以中国为本位；我之所以愿与国民政府妥协，是要完成中国统一，实行分治合作，以实现东三省一般民所渴望的事。”他拒绝了日本的条件，派邢士廉为代表，由海路赴北平，向蒋介石表示“愿输诚归降，并请商统一办法。”
蒋介石闻报大喜，东北一定，统一大业就算完成了！可惜，事情远非他想的那样乐观。当北伐节节胜利、克復北京后，蒋介石就曾忧虑各派新军阀在北伐中坐大，主张“裁兵善后，”此议一出，冯玉祥、阎锡山等都想乘机扩大自己的地盘，因此，蒋介石很快就从张学良归降的喜悦中冷静下来，旋即昔日那些担心的隐患又扑心头。他一边踱步，一边小声自语：“张学良易帜的结果是喜还忧？甚至是喜忧参半？”