一九三七年的一天，江津中山镇一户姓雷的人家把九岁的女儿雷德明嫁到山顶常乐村一户张姓人家做童养媳。出嫁的那一天，在去婆家的路上，雷德明第一次见到村头那棵枝繁叶茂的百年桂花树，第一次闻到了满树的桂花香。
嫁到张家后，雷德明过得很不好，不仅要干很多活，而且稍微做得不好还要挨打。那个年代，童养媳跟粗使丫鬟是差不多的。雷德明抽空跑回娘家诉苦，但“嫁出去的女儿泼出去的水”，她的境遇也没有得到娘家人的同情。从娘家回来的路上，雷德明路过桂花树下又闻到了桂花的清香，她停了下来，把一肚子的悲伤都对着桂花树说了一遍，然后心里就好受多了。从那以后，她只要受了委屈或者挨了打，就会来到这棵桂花树下哭诉。在张家做童养媳的那些年，桂花树成了雷德明唯一的倾诉对象和心灵依靠。
有一个秋天的晚上，雷德明又偷偷跑到了桂花树下诉说自己的委屈。过了一会儿身后传来一个小伙子温柔的声音：“妹妹，不要哭了嘛。”她边擦泪边转过头去，一个年轻人微笑着递给她一块手巾。
小伙子叫陈在良。雷德明后来才知道，陈在良已经悄悄地注意她很久了。每次雷德明在桂花树下说话的时候，陈在良就躲在不远处的老屋里偷偷看她，并悄悄地喜欢上了这个漂亮又可怜的女孩。陈在良长得英俊，有文化，人也和气，还是村里的会计。后来，雷德明每次来跟桂花树说话，陈在良都会在一旁陪着她，安慰她。
两个年轻人就这样在桂花树下相爱了，他们在桂花树下约会，倾诉。很多年后，雷德明对别人说，他很少对我说甜言蜜语，也没有送过我礼物。他们的爱很简单。他们最喜欢在秋天，桂花挂满枝头的时候坐在树下，闻着花香，看花粒飘落。