五四运动爆发后，中国工人阶级第一次作为独立的政治力量登上历史舞台，这使李大钊欣喜地看到，在中国建立以马克思列宁主义为理论指导的无产阶级革命政党开始有了可能。1920年初，李大钊就曾与邓中夏等酝酿过成立中国党组织的问题。

1920年2月8日，陈独秀从武汉回到北京。2月12日，正是阴历“小年”，李大钊雇好了一辆骡车，和陈独秀都乔装成商人，如同商号经理出外讨债，身边还放着一些账本，趁着晨光悄悄从朝阳门出发，离开了北京城，经廊坊直往天津。旅途中，二人相约在北方和南方筹建共产主义组织，就此留下“南陈北李，相约建党”的佳话。

3月，李大钊在北大秘密组织成立马克思学说研究会。研究会成立后，李大钊找蔡元培校长要了两间屋子做活动场所，一间当办公室，一间当图书室。他们还给这两间屋子起了个名字，叫“亢慕义斋”（英文Communism，即“共产主义”的谐音）。

4月，共产国际代表维经斯基一行来到中国，了解中国革命的情况，并同中国的革命组织建立联系。共产国际代表维经斯基一行的到访，无异于为中国共产主义组织的成立注入了催化剂。李大钊开始认识到，在中国仅仅建立马克思学说研究会，已经远远不够，必须筹建无产阶级政党。

建党初期，陈、李二人书信往来频繁。据张申府回忆，1920年8月，陈独秀就党组织是叫社会党还是共产党拿不准，特地致信李大钊征求意见。最后，李大钊回信一锤定音：“叫共产党！”