1925年，陈香梅出生于北京。她的家族，是真正的书香门第。父亲陈应荣十三岁就留洋，先是在英国牛津大学获得法学博士，之后又在美国哥伦比亚大学获得哲学博士。回国后，陈应荣在北京师范大学当教务长兼英文系主任。
陈香梅的母亲廖香词与陈应荣是指腹为婚，同样来自真正的大户人家。陈香梅的外祖父廖凤舒，曾担任中国驻古巴公使。廖家“住的是轩门巨宅，用的是进口欧美家具，踏的是厚厚的中国地毯，起居室玻璃柜中陈列着中国的古玩。家规很严，吃晚饭时都需穿戴整齐如赴宴一般”。廖香词曾在英国、法国和意大利读音乐和绘画。在陈香梅的记忆中，母亲就是一位淑女。
陈香梅的童年，也有着优渥的生活条件。她在北京住的是中西合璧的四合院，家里有用人、车夫、门房、厨子、听差，以及专门负责打扫和洗熨衣服的老妈子。
她的名字，是外祖父取的。陈家一共有六个女儿，陈香梅排行第二。姐妹六人，她的性格受母亲影响最大。学识渊博的母亲常常告诉陈香梅：“淑女应该居心仁厚。”母亲还说：“一个人的出身和成就，都是次要，要紧的是能把握人生的真谛。”只不过，那时的陈香梅还太小，不能体会这句话的含义。
1937年卢沟桥事变爆发后，日军全面侵华，陈廖两家的家产几乎**然无存，陈香梅跟随家人从北平流亡到香港避难。在北平时，一家人的生活还能勉强应付。陡然搬到高消费的香港，生活很快就变得捉襟见肘。
父亲此时去了美国作外交官，母女七人留在香港铜锣湾居住。没过多久，廖香词罹患子宫癌，很快便病故了。那时的陈香梅还不到十四岁，大姐还不到二十岁，最小的妹妹才六岁。失去了母亲，父亲又不在身边，六姐妹在生活上十分无助。陈香梅是姐妹中最有见解和最有能力的，自然就成了姐妹中的主心骨。