衢州府有五个县，其中西安、龙游、江山三县内均可见阳明讲会的活动，常山和开化两县内虽不见阳明讲会的记载，亦有不少理学家，如常山县内明初有郑协，谒吴与弼（1391—1469）门下，又从薛瑄学；郑伉，曾见吴与弼，折中于朱子；徐汝晋曾游徐用检之门，对于良知学有所证悟；徐鸣骝，潜心理学，且讲学于南屏；徐仕升，从钱德洪得良知宗旨，与许孚远、徐用检等名儒切磋。[87]《开化县志》和《常山县志》都明言邑境聚朱子讲学地近，儒学风范，学者多绍洛闽之正脉，师友渊源可溯，而阳明心学的影响，亦使县内理学传承历代不绝。[88]不过若以阳明学者的讲会活动言，则西安、龙游、江山三县较为明显。
西安县内有一些王阳明及身门人，并且在嘉靖前期即有活跃阳明讲会活动和书院的兴建，王玑（1529年进士）、栾惠是当地的重要学者，李遂则是鼓励支持讲会的地方官员。王玑是嘉靖八年（1529）进士，历任兵科给事中、江西参议、山东副使兵备天津、佥都御史等职。王玑年轻时心仪陈献章之学，曾渡江亲从王阳明学，与王畿友善，又与当地学者栾惠、黄彦纲、王修易、郑礼等同倡良知学。致仕归乡后致力地方教化工作，捐地十亩，建构衢麓讲舍，又多行睦族赈贫之义举。[89]《王阳明年谱》记载：王阳明去世后，西安县门人诸生追忆师教却莫知所寄，于是王畿和钱德洪与应典、王玑商量，订定每岁讲会的日期，又因李遂为知府，遂修建衢麓讲会，设师位，岁修祀事。[90]
衢麓讲舍，又称克斋讲舍，根据《衢州府志》，讲舍大约兴建于嘉靖十三年至十九年（1534—1540），由知府李遂主导，堂共五间，中为教思堂，立李遂像，堂后为四贤祠，祀朱熹、吕祖谦、张栻、王阳明四人，堂前为归仁堂、东西书楼、号舍，门外有墨池，规制宏敞壮观。书院建成当时设有两名管理员，门屋地隙地租税之收入亦规划为维修书院建设之需，四贤祠的致祭费又另编有专款，是从江山县接待、实成二寺入官田地解到县的租税银中来支付，但后因豪强唆使，僧徒将租典于富家，县司督赋不得，祭银遂无着落，[91]当时讲舍仅靠贡生杜珠和耆民郑铎之捐助，并不敷使用，终于导致书院倾圮、祀事寝废。直到嘉靖四十三年（1564），知府郑伯兴与同知薛应元重修之，又得巡抚御史兵部右侍郎赵炳然益田，祀事方得再兴。[92]