在宣传马克思主义的过程中，李大钊等共产主义知识分子开始致力于把马克思主义同中国工人运动相结合。早在五四运动前，李大钊写下《唐山煤厂的工人生活》一文，对唐山工人“尚不及骡马”的悲惨生活表示深切同情。这时，他更对无产阶级予以极大关注，他指出：“现在劳工阶级、无产阶级联合起来，为横的组织，以反抗富权阶级、资本阶级是现今世界的趋势。”他明确提出知识分子要与工农群众相结合，作民众运动的向导。
随着马克思主义的不断传播及共产主义知识分子开始致力于将马克思主义同工人运动相结合，成立无产阶级政党这一任务也提到了历史日程上来。此时，李大钊常同陈独秀书信往来，讨论建党问题。
1920年8月，陈独秀等人在上海创建了第一个共产主义小组。月底，张国焘从上海回到北京，带来了陈独秀关于建党的意见。李大钊积极赞同，并开始进行建党的具体活动。
同年10月，北京共产主义小组正式成立。参加者有李大钊、张国焘、罗章龙、刘仁静、黄凌霜等人。由李大钊从自己工资中拿出三分之二作为小组活动的经费，小组还经常在李大钊的办公室和家里这两个地方开会。后来，在李大钊领导下北京共产主义小组将黄凌霜等无政府主义者清了出去，纯洁了组织。并争取何孟雄等人放弃了无政府主义立场，加入了共产主义小组，小组还吸收了邓中夏、高尚德等共产主义知识分子。