方以智以为“性与善非二也”，“至善”（或“无善无恶”）就是实体，而后天的善与恶即成了“至善”之用。既然“至善”是体，善相、恶相是用，那么，“体在用中”、“一在二中”和“有一必有二”等体用的关系，亦同样适用“至善”与善恶之间的关系。如是，则有“始乎无善无恶，必卒乎有善有恶”、“无善恶在有善恶中，善在恶中，体在用中”等种种说法。同时，由于体不离用，道不离器以及“有一必有二”的原理，势必然出现“必用恶”、“必用小人”以及“恶消而善不立”等主张。
（一）“始乎无善无恶，必卒乎有善有恶”
关于恶的来源，宋明理学家一般归之为后天因素，多以后天之“气”来解释“恶”。方以智关于“恶”的说法，亦不例外。他一方面本程明道、胡五峰等言先天心性为超越的“无善无恶”之体；另一方面，他又将周濂溪的“诚无为，几善恶”、程明道的“人生而静以上不容说，才说性时，便已不是性也”以及王阳明的“有善有恶意之动”结合起来，视后天的意、有为及气等为恶的根源。总起来说，意、有为等皆为后天的形下之气，皆可以善、恶来评判。这种后天的善恶是相对的、有形有迹的，固然不同于无善无恶的至善之体（或曰善体）。关于纯应无善无恶的超越性体而动的“无心”、“无意”之化境，上文已言及，这里不再赘述，下面仅就后天之气来说相对之善恶的问题。
“源善流恶”是方以智中晚年思想的重要特征，尤其表现在《东西均》、《易余》等著中。如他在《东西均》中说：
无必不能不有，始乎善必卒乎恶，无善则无恶。曰无者至矣，抑知始乎无善无恶，必卒乎有善有恶，不如张尊善化恶之号令，乃所以运真无善恶之璇玑。是以断断然表其从天地未分前来者，曰性善。尊德性者，尊阳也，尊始也，尊先也。榜之曰善，犹榜之曰无也。[47]