就在李靖随同冯小惜离开建康北上的同一天，晋王杨广也离开了建康总管府，前往建康西郊的牛首山造访隐居在那里的陈长乐、许德言夫妇。
数天前张衡带回的宣华夫人陈未央的一句提醒和问候，使杨广恍然想起了还未将陈未央托他带回江南的一应物件转交给陈长乐、许德言，当即派人四下打探这一对破镜重圆的夫妻目前隐居在江南何处。
未过几天，手下人回报，已经查明，陈长乐夫妻二人就隐居在距建康仅二三十里外的牛首山下。为表示对远在长安宫中的陈未央的歉意，杨广决定前往牛首山，亲手将陈未央托付自己的一应物件转交到陈长乐手中。
裴蕴听说了此事，急忙约请张衡、梁默一道赶往建康总管府劝阻杨广取消牛首山之行，不承想却激得杨广勃然大怒，拍着几案叫道：“怎么，本王奉旨抚绥江南，如今连府门都不得出了吗？你们有哪个今天敢拦着本王出城，休怪本王不给你们留颜面了！”
裴蕴壮着胆子劝道：“王爷，今日李靖、冯小惜二人才从建康动身……”
“你尽管安排人去捉张仲坚，本王不过是到建康近郊随意走走，这事你也要拦着？”杨广把眼一瞪，唬得裴蕴立马不敢再多说一句话了。
“王爷欲亲自出马，诱使张仲坚现身，下官对此并不反对。”三人之中还是张衡最能揣测杨广的心意，从容上前说道，“然也请王爷允准，由梁默将军率领一营人马扈从前往，以防不测。”
杨广对张衡能猜测出自己牛首山之行的另一层用意感到甚是满意，火气消了一半，摇摇头，说道：“带领一营人马前去探访隐士，未免遭人指摘，说本王有招摇过市之嫌，再者，也不利于诱使奸党现身。我看，就由梁默、郭衍二人护从本王前往，至多随行带上十几名仆从担挑着一应物件即可。”