中国教育会成立于1902年春。先是，蔡元培与叶瀚、蒋智由、王季同、汪德渊、黄宗仰、王慕陶等人于4月15日商议筹组中国教育会。4月27日，由在沪同人选举蔡元培担任事务长（即总理），王慕陶、蒋智由、戢元丞、蒯寿枢等任干事，陈仲謇为会计。随即函邀江浙各地同志赴沪，于5月4日召开成立大会。[1]入会者“或为学校师，或为编译员，或为新闻记者，或为学生”[2]，“都是海上及内地顶有名望的人，总共也聚了一百多人”[3]。新型知识分子构成该会的主体。中国教育会的出现，表明在上海这个中西交汇的新兴大都市中，新知识群体已经聚合发展，形成独立的社会力量，具有相对固定的角色地位，并要求通过自己的社团组织与活动，进一步扩大社会影响。
关于中国教育会的缘起与性质，冯自由说是因为当时“译本教科书多不适用，非从新编订完善，不足以改良教育。因联络海上有志之士，发起中国教育会为策动机关。倡议诸子，均属热心民族主义之名宿，故此会不啻隐然为东南各省革命之集团”[4]。中国教育会的重要骨干蒋维乔则极力肯定该会“表面办理教育，暗中鼓吹革命”[5]。而吴稚晖又对蒋说表示否定，[6]因而仍是一桩悬案。
事实上，中国教育会的确从一开始就存在一个秘密革命核心，他们立会的意图，是想凭借当时最为风行的兴办教育的名义，以学校为培养革命力量的基地，展开宣传组织活动，并不拘泥于发展教育。1904年4月3日，蒋维乔曾在一封致中国教育会诸君书中明确指出：“原设会之本意，诸君子固别有宗旨，不过借教育为表面。”“窥诸君子之用意，盖以中国垂危，教育之效终嫌缓不济急，故恒持虚无共产主义为救急第一良策。”不知底细者“固抱一教育普及之念而来，一入其中，微闻其内容则骇而走耳。此所以入会者前后有百余人，至今十不存一也。”有鉴于此，他提议：“诸君子欲达目的，则宜秘密者应另组织一秘密之部，而教育会自以普及教育为宗旨”，使“名实相符，可期发达，不致蹈前此之弊，与诱人入会无异”[7]。值得注意的是，当该会机关报《警钟日报》将这封信刊出时，却把其中涉及秘密宗旨的内容全部删除。[8]可见是有意加以隐蔽，以防意外。