抗日战争爆发时，潘素和张伯驹神仙眷侣般的日子遭到了冲击。当时张伯驹出于工作原因，每周要去上海一趟。1941年，张伯驹在上海遭遇绑票。
因为掌管盐业银行上海分行，张伯驹阻挡了李祖莱的升迁之路。于是，李祖莱勾结“76号”机构特务绑架张伯驹，让潘素准备二百万元来赎人，否则就撕票。
换作寻常女子，早就吓得不知所措，潘素却异常冷静。她知道张伯驹爱收藏甚于性命，张伯驹曾说，如果为了救他而卖掉一件藏品，他就算死都不肯出去。有人建议潘素卖画，她一口拒绝。为了救丈夫，她决定卖掉自己所有值钱的首饰。
当年张伯驹救她，是求助了好友孙曜东；这次她救张伯驹，则求助孙曜东的妻子吴嫣。孙曜东得知这件事，直接把事情捅到周佛海那里。绑架张伯驹，本就是周佛海手下干的事。周佛海命令手下立刻破案，不过孙曜东担心小混混们如果捞不到好处会撕票，还是让潘素给了二十根金条。
张伯驹被关了近八个月，潘素一天安心的日子都没有过过。她四处打点，四处奔走，终于把张伯驹救了回来。
经过这次绑架事件，潘素和张伯驹夫妇誓死保护国宝的名声传开了，人人赞扬。他们并不愿意出这个名，这意味着人人都知道他们手中有值钱的藏品。于是，他们整个下半生都在为保护国宝而忙碌。
他们多次往返于西安和北京之间，将国宝不断偷偷转移。这样的日子虽奔波劳碌，潘素却以此为荣。当他们将前半生最珍贵的八件藏品捐献给故宫博物院时，政府要奖励二十万元，被他们夫妇婉拒了。他们说：“我只要画，不要官，也不要钱。”
精神上的满足，战胜了物质上的贫瘠。日子虽苦，他们的精神是富有的。张伯驹最喜欢摆弄自己的藏品，潘素也喜欢和他学习如何鉴赏藏品。他们一起欣赏李白唯一的真迹《上阳台帖》、陆机的《平复帖》，偶尔他写诗，她便在一旁作画。