因还朝初次陛见之时就受到杨素的接连质疑，使得张衡对宇文述奉调回京拉拢杨氏兄弟所获得的成效大为不满，向杨坚告退一走出大兴宫，即来寻宇文述探问详情。
宇文述不便如实告知张衡，自己是因错拉拢了李渊，担心受到他的告发，至今尚未着手拉拢杨氏兄弟的，只向张衡推说杨素如今在朝中身份地位已非昔日可比，实系朝中首相，自己人微言轻，平常连见他一面都不容易，更甭提劝说他入伙支持杨广入主东宫一事了。同时，为避免使张衡觉察出他话中的破绽，宇文述还反客为主，向张衡讨教怎样才能劝说杨素成为杨广在朝中的内援。
“在建康时，不是听伯通说起过，你与杨约有些交情吗，何不从他身上入手，先说服杨约支持晋王，尔后请杨约去劝说其兄？”张衡疑惑地闪了宇文述一眼，提醒他道，“今日入宫陛见之时，未见皇上传召太子听政，由此可见太子在皇上心目中的地位已大不如前，且当初是杨约前来并州传旨，成全了王爷与王妃的姻缘，说来也算得与王爷有些交情，你不妨先找杨约，探探他的口风，尔后再相见行事。”
宇文述面有难色地说道：“起初杨约虽曾得我相助，才入宫做了长秋监令，然此后我因离京在外，我二人这么年来一向疏于往还，此次他若是一味虚言搪塞，又当如何？”
张衡脸上浮现出一丝诡异的笑容，向前探了探身，凑近宇文述耳边，压低声音向他说了些什么，只见宇文述的脸色变得开朗了起来，连连点头道：“就依建平所言，我这就去试试。”
杨约在大理寺少卿的位置上已坐了四五年的时间，却始终未能从少卿晋升为正卿，这使得他领悟出了一个令他感到十分沮丧的道理：任凭他如何为朝廷办差卖命，掌管好一朝的讼政，朝廷都不会任用一个身有残疾的人位列九卿的。