理学家们对《大学》“格物”的解释，莫衷一是，刘宗周曾谓“格物之说，古今聚讼有七十二家”[42]。不仅朱子学与阳明学两大传统对“格物”的训释有异，即使阳明学内部亦呈现出较为复杂的局面。聂双江与王龙溪就曾于“格物”之训，展开过激烈的往复论辩。聂双江以“致知者，止至善之全功。格物者，止至善之妙用”[43]为根据，提出“格物无工夫”之说，他在《答王龙溪》第一书说：“愚夫愚妇之知，未动于意欲之时，与圣人同，是也。则夫致知之功，要在于意欲之不动，非以周乎物而不过之为致也。镜悬于此而物自照，则所照者广。若执镜随物，以鉴其形，所照几何？延平此喻，未为无见。致知如磨镜，格物如镜之照。谬谓格物无工夫，以此。”[44]王龙溪则坚持“格物正是致知实用力之地”，他说：“所谓‘致知在格物’，格物正是致知实用力之地，不可以内外分者也。若谓‘工夫只是致知’，而谓‘格物无工夫’，其流之弊，便至于绝物，便是仙佛之学。徒知致知在格物，而不悟格物正是致其未发之知，其流之弊，便至于逐物，便是支离之学。争若毫厘，然千里之谬实始于此，不可不察也。”[45]龙溪所言正是王阳明“随时就事上致其良知，便是格物”之意。王阳明、王龙溪的内圣外王、体用圆融之学以此可见，聂双江“归寂”、“绝物”亦赖此以明。下面通过对方以智格物致知论的分析，我们可以窥其“提心宗而百家之理皆归一”[46]的为学旨趣。
（一）“格破内外”的格物论
对方以智来说，“尽心”仍然是最本质的工夫，“格物”并非是有别于“尽心”的另一套工夫。他以“克”、“烬”训“尽”，“尽心”就是要“克其皮相之己，复其大一之己”。换一种方式来说，就是“外皆是内，一破即通”。破除阻碍仁体流行之核“皮”或“壳”（即私欲）就是“尽心”工夫的着力点。“格物”工夫的着力处亦在此，他说：