国民党右派认为，共产党在上海组织的暴动和选举，是要夺取上海的领导权。上海是经济中心，国民党建立政权的基础，也是西方列强的利益所在，岂容共产党掌控！国民党中一些重要人物开始密谋，起关键作用的是国民党元老吴稚晖和蔡元培。
吴稚晖从思想上反对共产主义，对共产党力量的迅速崛起非常担心。3月6日，他在钮永健陪同下会见陈独秀。据其自述称：“本委员于本年三月六日晚间八时，偕同钮委员晤见中国共产党首领陈独秀、中国共产党上海首领罗亦农；于上海环龙路二十六号钮委员办公处，谈话甚多。本委员告陈首领，‘研究共产学说，自为共产党之责，若实行共产，五六年前苏俄代表越飞，在广州语孙总理，当在二百年之后。以我理想，二百年尚嫌不足。’陈首领笑我太迂，我言：‘急切轻挂招牌止是鼎。’陈说：‘你更疯癫，请问中国现在的共和，不是伪的么？但你以为康有为之复辟，与伪共和孰优？’本委员遂知中国共产党欲实行伪共产，意在言外，因突然根问陈首领：‘你定中国实行列宁式共产主义是若干年？’彼不迟疑而答曰：‘二十年。’余作骇极之情状。时罗首领似怪陈首领直率，合座默然。本委员即乱以闲话曰：‘如此国民党生命止剩十九年了。前年总理答越飞，国民党国民革命完成应需三十年。若你们共产党急迫至此，未免取得国民党的生命太快了一点，应当通融商量才好！’因其强笑而罢。”
3月26日，蒋介石到达上海。28日，国民党中央监察委员蔡元培、吴稚晖、李煜瀛（李石曾）等5人聚会，由蔡元培主持。吴稚晖报告了陈独秀与他的谈话经过，提议对共产党“应行纠察”。蔡元培表示同意，主张“取消共产党人在国民党党籍”。达成共识后，4月2日，国民党中央监察委员会举行正式会议，将有关文件送国民党中央执行委员会，但不让其中有共产党员身份的委员知晓。
吴稚晖、蔡元培都是文人，他们的反共使蒋介石有了理论上的支持。但如何实施清党，则要做好各方面的准备。蒋在上海频繁活动，与租界当局达成协议，维护西方国家在华利益，并与日本领事会谈，使外国人了解蒋的立场，并给予支持。他与上海青帮头目杜月笙等密谈，让他们组织“中华共进会”，配合清党，还与广东的李济深、广西的李宗仁在上海商定：同步在各地开展清党。
“四一二”：蒋介石开了杀戒
其实，陈独秀与中共中央负责人对蒋介石的阴谋活动已有警惕。陈独秀在3月25日晚特委会上明确指出：“我们现在要准备一个抵抗，如果右派军队来缴械，我们就与之决斗。此决斗或许胜利，即使失败则蒋介石的政治生命完全断绝。”中共中央决定加强工人纠察队的力量，调百余干部，作为纠察队的骨干，加紧训练。
