Sau cao trào Xô-viết Nghệ Tĩnh năm 1930-1931, thực dân Pháp đã tăng cường đàn áp, khủng bố phong trào yêu nước, tiêu diệt những người cộng sản. Tổng Bí thư Trần Phú cũng bị bắt và đã anh dũng hy sinh. Cơ quan đầu não của Đảng không còn. Theo chỉ đạo của Quốc tế cộng sản, tháng 3-1934, Ban chỉ huy ở nước ngoài (Ban hải ngoại) của Đảng Cộng sản Đông Dương được thành lập do đồng chí Lê Hồng Phong làm Thư ký (Bí thư).

Đại hội đại biểu lần thứ I của Đảng Cộng sản Đông Dương họp tại phố Quan Công, Ma Cao (Trung Quốc) từ ngày 27 đến 31-3-1935. Dự Đại hội có 13 đại biểu thuộc các đảng bộ trong nước và tổ chức của Đảng hoạt động ở nước ngoài.

Đại hội đã bầu ra Ban chấp hành Trung ương Đảng gồm 13 đồng chí; Ban Thường vụ có năm đồng chí. Đồng chí Lê Hồng Phong làm Tổng Thư ký (Tổng Bí thư). Ban chấp hành Trung ương Đảng cử đồng chí Nguyễn Ái Quốc làm đại diện của Đảng Cộng sản Đông Dương bên cạnh Quốc tế Cộng sản.

Tháng 7-1936, đồng chí Lê Hồng Phong chủ trì Hội nghị Ban Chấp hành Trung ương họp ở Thượng Hải (Trung Quốc) để xác định chủ trương mới của Đảng về các vấn đề chiến lược và sách lược cách mạng ở Đông Dương. Theo chỉ đạo của Quốc tế Cộng sản, Hội nghị cử đồng chí Hà Huy Tập về nước tổ chức lại Ban Trung ương và giữ chức Tổng Bí thư.

Tháng 3-1938, Ban Chấp hành Trung ương Đảng họp hội nghị quyết định mở rộng hơn nữa Mặt trận thống nhất dân chủ Đông Dương. Tại Hội nghị này, đồng chí Nguyễn Văn Cừ được bầu vào Ban Thường vụ Trung ương Đảng, sau đó được bầu làm Tổng Bí thư. Ngày 28-1-1941, Bác Hồ về nước và chủ trì Hội nghị Trung ương tháng 5-1941 đã quyết định chuyển hướng chiến lược đặt nhiệm vụ giải phóng dân tộc lên trên hết, cho ra đời Mặt trận Việt Nam độc lập đồng minh (gọi tắt là Mặt trận Việt Minh). Hội nghị bầu đồng chí Trường Chinh làm Tổng Bí thư của Đảng.

Sau hội nghị, công tác chuẩn bị khởi nghĩa vũ trang được coi là nhiệm vụ trọng tâm của Đảng và nhân dân ta. Cao trào kháng Nhật cứu nước đã diễn ra sôi nổi, phong phú về nội dung và hình thức. Ngày 13-8-1945, Hội nghị toàn quốc của Đảng họp tại Tân Trào (Tuyên Quang) đã quyết định phát động Tổng khởi nghĩa trong cả nước, giành lấy chính quyền và đã thành công.