如果说北京大学研究所国学门组织考古学会主要是为了谋求自身的发展，那么日本东亚考古学会则从一开始就是为了与中国的相应机构结盟而成立。
考古重心东移，使得以中国为中心的东亚成为国际学术界关注的焦点。日本虽然国力渐盛，教育学术发展迅速，但在考古学这一特殊领域，受制于客观条件，尽管发端甚早，进展却不大。而风气由欧化转为东方主义，迫切需要学术上的解释与表现。对于东亚探险考古活动大都由欧西学者主持、中国学者几乎无关、日本学者贡献也极少的状况，滨田耕作等人感到十分遗憾。要想改变，就必须将考古发掘的现场扩展到日本以外，尤其是中国大陆。而在中国国内政局动**，中日关系又日趋紧张之际，没有中方的协助，这一目标显然很难实现。
20世纪20年代，日本借退还庚款之名举办东方文化事业，引起中国各地各界人士的极大关注，相互之间长期交涉竞争，纷纷加强对日本的交流。以此为契机，在政治与学术关怀的交相作用下，中日两国学者积极开展合作。北京大学利用其首席国立大学的有利地位，从一开始便展开了强有力的角逐。1922年，胡适与蒋梦麟等人拟订计划，主张在中国国立大学和日本帝国大学互设中、日讲座，提倡东方文化研究。[1]而中日学术协会的发起与此关系更为直接，可以说简直就是东方文化事业的派生物。
该会成立于1923年10月14日，起因为年初北京大学校方召集任教于北大文科的留日出身的教授，如陈百年、张凤举、马幼渔、周作人、沈兼士、朱希祖以及在京都大学进修过的沈尹默等，商议日本对华文化事业。是年3月13日，周作人、张凤举前往日本公使馆找吉田参事官晤谈。刚好这时日本国学院大学教授田边尚雄、京都大学教授今西龙、东京大学教授泽村专太郎等人相继来北大讲学或研究，与北大教授常有交流应酬，显示了北大在中日学术交流中作为首席国立大学的重要地位。