自公元1055年，宋仁宗下旨将孔子的第46代孙孔宗愿封为衍圣公开始，衍圣公这三个字便成为华夏文人的精神领袖。虽然这个衍圣公在宋朝，不过是一个八品小官，但是因为孔子在天下士子心中的神圣地位，这个衍圣公的爵位也就有了不同寻常的意义。因此，无论是任何朝代，都只有孔子的嫡系后人才能承袭衍圣公的爵位。
衍圣公在古代的地位非常高，位于山东曲阜的衍圣公府，在规模上也仅仅比皇宫稍逊一筹。得益于先祖孔子在古代读书人心中的神圣地位，衍圣公也因此成为了古代地位最显赫的特殊公爵。
可是在刘衍看来，衍圣公的形象却并不是那么的光辉灿烂，除了象征意义上的高大形象外，刘衍认为衍圣公一系不管是在文化上、学术上、政治上还是节操上，都给孔圣人丢尽了脸，称其为“七十二代家奴，二十五朝贰臣”一点也不为过！
衍圣公虽然一直号称是古代文坛领袖，可是却毫无文人的风骨和气节。特别是每当中原面临异族入侵时，衍圣公府总是选择在第一时间投降。为了保住衍圣公的爵位，甚至不惜卑躬屈膝。衍圣公府这种左右摇摆的态度，也是最为现代天下人所诟病的。
例如，在北宋灭亡之后，赵构带领残存的宋朝宗室在临安建立了南宋政权，将随行而来的孔子第47代孙孔端友封为新任衍圣公，并且在衢州建了新的衍圣公府。留在曲阜衍圣公府的那些孔子后人，则纷纷落在了金兵手上。这些人虽然身为孔子后人，可是却并不知“舍身成仁”为何物，反倒是深谙“识时务者为俊杰”，转眼间就投靠了金朝。
公元1140年，金熙宗册封孔子的第49世孙孔璠为衍圣公，由此就形成了衍圣公府南北二宗并立的情况。1220年蒙古骑兵南下，从金朝手中夺取了曲阜，曲阜衍圣公府里的孔子后人又落在了元朝手中。元朝看到金朝、南宋各有一个衍圣公，于是干脆将孔子的第50世孙孔元用也封为了衍圣公。这一次，孔子后人也是欣然接受，由此宋金元三朝并起，各有了一个衍圣公，也算是贻笑大方了。