王映霞究竟与许绍棣有没有过关系？她为什么不愿与丈夫郁达夫同房？先看《毁家诗纪》的第四首：
寒风阵阵雨潇潇，千里行人去路遥。
不是有家归未得，鸣鸠已占凤凰巢。
这一首说得十分明白了，一个人冒着风雨远离家乡，为什么要离家？是因为没有家吗？他原来是有家的，只是这个家已经鸠占鹊巢。
这首诗写得如大白话，但却不是郁达夫本人写的，理由来自诗的自注，我还是按照白话文的意思大概翻译下：这是我在福州天王殿里求得的一张签诗。我们到庙里上香拜佛求签，求签往往是一首诗，我也去过庙里，但是我没有求过签，也不上香，也不跪拜，我更多是欣赏里面的建筑，去看看那些佛像，感受一下伽蓝的味道。但曾经有人为我也去求过签，当然这种小儿女的心态，我也能够理解。
按照常理，去庙里求签的人，都是心里有事，纠结的郁达夫概不能外，没想到求到的是一首鸠占鹊巢的签，可想而知他的心情。因为那时候他刚好接到国民政府政治部第三厅厅长郭沫若的邀请，准备前往武汉担任外宣处处长，他必须得先从福州返回浙江，再接上家人前往武汉。也就是在福州动身的前夜，他在天王殿里求得了这张签。诗句奇怪，难以理解，但是又有一种不好的预感。
郁达夫来不及多想，就动身了，时间是1938年1月。连日大雨，好容易辗转到了丽水，准备接家人一起走，不料晚间王映霞竟拒绝与郁达夫同房。郁达夫想了半天才明白，这是因为许绍棣这几天没有去临时省政府办公，仍然在丽水的省政府宿舍留宿的缘故，因为如前文所说，他们两家当时是楼上楼下。当然，这只是郁达夫单方面的猜测。
次日，许绍棣去金华开会，郁达夫也去了方岩，会见了许多友人，入晚回来，王映霞仍拒绝与之同宿，说是例假来了，“分宿为佳”，郁达夫没办法，只好耐着性子等。第三天，许绍棣从金华回来了，王映霞像变了一个人似的，搭车前往迎接，许绍棣又要从丽水转到另外一个地方去公干，王映霞二话没说就跟走了，当晚在碧湖过了一夜。次日午后，二人同返丽水。