但请示莫斯科后，这个武力反蒋的计划不仅未获准，联共（布）中央政治局反而于3月27日、28日、31日连续指示中共中央：“请你们务必严格遵守我们关于不准现在举行要求归还租界的总罢工或起义的指示。请你们务必千方百计避免与上海国民军及其长官发生冲突”；“暂不进行公开作战，不要交武器，万不得已将武器收藏起来。”“开展一次反右运动。鉴于力量对比上处于非常不利地位，我们不要仓促地进行公开斗争。武器不要交，必要时隐藏起来”，“勿以武装力量扰乱租界。”
共产国际的指示，捆住了中共的手脚。而蒋要清党，也必须求得国民党主席汪精卫的同意。汪刚被蒋排挤下台，去苏联考察，4月1日回到上海。蒋介石、蔡元培、吴稚晖、李石曾等立即上门拜访，吴稚晖告诉汪：“陈仲甫（陈独秀）他说二十年就把中国变成共产党国了。”汪说：“哪里要二十年呢？两年吧。”这表明汪对中共也是怀有戒心的。于是蒋明确提出两件事：一是赶走苏联顾问鲍罗廷，二是分共，要汪同意。但汪心里另有想法，他手里没有军队，要维持他的领袖地位，对抗蒋介石，还离不开共产党的支持。汪表示这两件事情关系全局，要回武汉召开国民党中央委员会议讨论。为了平息蒋对他的不满，汪在上海直接找陈独秀谈话，陈否认他对吴稚晖说过的话，并表示要继续与国民党合作。于是，陈起草了《汪陈联合宣言》。
这个宣言的发表，使陈独秀背上了“右倾投降主义”的黑锅，导致了他日后的下台。陈后来在给中共中央的信中，对当年的行为表示深为悔恨。
其实汪精卫也不是坚定地要和共产党合作。蒋介石听说此事后，立即找汪陈述利害。汪遂有反悔之意。但报馆已经开印，撤不回来了。《汪陈联合宣言》刊出后，吴稚晖激烈反对，斥责汪的“联共政策”和“两党合作”立场，激愤之余，对汪开口辱骂“一个兔子白面书生和横眉竖眼的陈独秀吊膀子”。汪大受刺激，甩手不管，次日就离开上海去了武汉。
蒋介石一面秘密准备清党，一面麻痹中共。要清除共产党，蒋仅靠自己手里的武装是不够的，如果用军队出面，政治上也很不策略，于是他借助上海青帮的势力。
当时的上海社会，成分非常复杂。代表黑社会势力的各种帮会渗入上海社会各界，组织庞杂，人数众多。青帮是上海势力最大、影响最广的帮会，青帮首领黄金荣、杜月笙、张啸林形成了一个独立于政府的地下社会秩序网。他们操纵着上海工人、商贩、无业游民等社会底层的生计，控制着上海大多数的工厂。工厂里的工头和监工大多数都是青帮中人，他们掌握着对工人的招聘和解雇、监督和管理等权力，不加入青帮几乎不可能在工厂找到工作，还会在工厂受到排挤和欺负。因此，工人不得不投靠帮会，把帮会作为求职谋生的靠山。
