回国后不久,中共二大在上海召开，张国焘当选为中央执行委员会委员。从中共二大到西湖特别会议，他都与国际代表马林唱对台戏，反对与国民党党内合作，而坚持建立党外统一战线。1922年10月，陈独秀与刘仁静去莫斯科参加共产国际第四次代表大会，一直到次年1月，他代理陈的职务,主持中共中央工作。
二七大罢工时，他的身份是中央代表，因此也就成为总罢工的主要领导人之一。在震惊世界的“二七惨案”中，他也在被捕之列，只是在工人的帮助下化装成卖花生米的小贩，才死里逃生来到汉口的法租界。
1923年6月，中共三大在广州召开。他因不赞成与国民党的党内合作，而与马林再次发生争执，他的中央委员因此而落选。1924年5月，他们夫妇被逮捕。据上海《申报》报道：“自前日(5月26日，作者注)，侦缉队已开始拷讯，且每日拷打三四次之多。”另据相关档案资料，他在狱中供出了包括李大钊在内的北京党的负责人。
阶下囚的生活使他对自己的信仰产生了怀疑，他说：“在中国如何实现共产主义，我始终想不出个头绪来。”他承认自己现在已经没有“青年那种勇往直前的锐气”。他的革命情绪明显消沉，他自己也表示以后“还是把自己的雄心抑制的好”。
坐了5个月的牢，因冯玉祥发动北京政变，他们夫妇终于走出牢房。出狱后不久，中共四大在上海召开。他又进入中央核心，进入中央局。震惊世界的五卅运动发生时，中央局的5位成员中，彭述之患伤寒住院，蔡和森也因气喘病而不能视事，陈独秀负责全党的工作，瞿秋白主编《热血日报》。他是中央局分管工运的干部，责无旁贷地去了上海，直接指挥和领导五卅运动。
1925年10月，中共设立中央军事委员会(不久改称军事部)，张国焘担任主任，可谓中共第一任军事领导者。在中共五大上，他当选为中央委员、政治局委员，并和陈独秀、蔡和森组成为政治局常委，他还兼任中央组织部部长。后又增补瞿秋白为常委。此时，他扮演了一个很不光彩的角色，那就是挤对总书记陈独秀，作为那个时代的见证人和中央机关的工作者郑超麟回忆：
“中央形成了一个三人集团：瞿秋白、张国焘、谭平山。每次开会，他们三个人唱了一样的调子，最后按他们三个人的意见通过。彭述之被踩在脚底下，陈独秀如同小媳妇。一次，黄文容告诉我，张国焘在中央会议上拍桌子大骂陈独秀，而陈独秀不敢还骂。
