从常山求回一场雨来，足见老天爷赏脸，“密州四害”大概都除尽了。到这时苏太守才想起修房子的事来。
密州府太穷了，穷到连知府的住处都是破窗烂瓦，冬不遮风夏不蔽雨，刚到密州的时候二十七娘就在抱怨，可惜苏学士忙着公事，没功夫动这个脑子。现在最艰难的时候大约过去了，夫人这里催了又催，怨了又怨，苏轼也不能再装糊涂。就把余主簿找来，跟他商量动用十贯“公使钱”把府衙的房子修一修。
一听这话余主簿犯了难，吭哧好半天才大着胆子对苏太守说：“大人，如今咱府里已经没有‘公使钱’了。”
大宋朝厚待文臣，皇帝特意在地方上设置了一个“公使钱”，规定府县收支上交国库之后仍有盈余就算做“公使钱”，等于是给官员的补贴。然而“公使钱”有个区别：越富裕的地方官府盈余越多，“公使钱”也就足用，那些贫穷的府县交清赋税之后所余不多，“公使钱”就少得可怜。而密州府刚遭大旱又遇蝗灾，已是穷到极点，官府根本没有“公使钱”可用。
没有“公使钱”，苏太守住的房子也得自己花钱修了。苏轼只得回来和夫人商量，拿出俸禄买了一批屋瓦，叫衙役们帮忙到山上砍了几棵树，花了一个月功夫认真把住处收拾一遍，好歹算是不透风、不漏雨了。
收拾了住处，苏轼又动起心思，想把院里的一片荒地整顿成菜园子，自家种些青菜吃。等人们砍去乱树拨光杂草，苏轼才注意到园子北边有一个三丈多高的废土堆，看院子里平展展的，也没有池塘一类的东西，想不出这一大堆土从何而来，苏轼是个爱琢磨的人，专门查了县志，这才知道原来唐朝密州的城墙从此经过，这个大土堆是古城墙留下的一个墩台。众人都问太守是不是把这堆废土移走？苏轼却有自己的打算，一溜歪斜爬上堆顶四下望去，东是卢山，南有常山，往北看，潍水隐约在望，风景着实不错。