撷芳殿就在东华门不远、三座门以北, 远远就能瞧见一片绿色琉璃瓦盖的院落。康熙年间的阿哥所早期大多住乾东乾西五所，但后来阿哥们一个接一个地出生，实在太多, 康熙便下旨宫中10岁以上的小阿哥移居南三所。
这说的南三所, 实际上，便是撷芳殿，撷芳殿并非只是一处宫殿, 而是南三所一组宫殿院落里中当中的那座宫殿，只是因为前明时期门殿上题刻“撷芳殿”三字，宫人们又管南三所叫撷芳殿, 仍旧沿用了下来。
因此与前头那些哥哥们不同，序齿靠后的十三、十四、十五、十六、十七阿哥都住过南三所。但如今南三所里只住着还未出宫建府的十七阿哥，阿哥们搬出宫后，其他闲置的宫殿院落甚至在康熙四十三年上下拆了一些物品运到畅春园西花园了，程婉蕴还记得，是康熙嫌内务府预备出来修建西花园的梁木年份太新了, 不够好，干脆将撷芳殿上好的梁木拆下来按在了太子爷居住的讨源书屋上。
后来有两年, 公主们也到撷芳殿读书, 但自打八公主抚蒙后, 宫里只剩九公主和十公主了，两位公主的婚事只怕也在这一两年间，这书念得也没多大意思, 后来这个不去了, 那个告了假, 这儿渐渐也没了公主格格们每日抱着书与绣棚的倩影。
弘暄和弘晳若是搬过来，住得是绰绰有余的。
早在为他们选福晋的时候, 程婉蕴就在想这件事了，别的阿哥成婚了可以搬出去在宫外建大宅子住，唯独东宫的孩子是没有出宫建府一说的，毓庆宫就那么大，被斋宫与奉先殿挤得扁扁长长的，真理论起来只怕还没撷芳殿大呢。
不过毓庆宫与撷芳殿十分相近，从毓庆宫走南边的宫门，再往左拐过南群房和箭亭也就到了。南群房是东宫亲卫宿卫值房，箭亭是太子爷和膝下阿哥格格骑马射箭的地方，还养着太子爷的猎犬和爱马，专门停着毓庆宫专用的车与肩舆。