汉高祖十二年（公元前195年）二月，高祖以樊哙为将军，率军击燕。后又改以周勃代之。
卢绾与高祖是邻居，而且两家是世交，卢绾的父亲与刘太公十分要好。
更加巧合的是，高祖、卢绾是同年同月同日出生的。当时，乡里主动出面，“嘉两家亲相爱，生子同日，壮又相爱，复贺两家羊酒”。
高祖、卢绾自幼就在一起玩耍，然后一起求学，因此两人感情就更好了。
高祖家里兄弟四人，当时大哥刘伯早逝，二哥刘喜每日务农，小弟刘交年龄尚幼，而高祖**不羁，引起家里人反感，因此与自家兄弟的关系并不是那么好。
卢绾就不一样了，他始终跟随着高祖。当时，高祖犯了官司被迫逃亡，卢绾不避险危，常随出入上下。因此可以说，高祖、卢绾之间的感情比亲兄弟还要亲。
后来卢绾跟随高祖起兵，虽然他没什么能耐，也没有什么战功，但一直忠心耿耿，深得高祖的信任。
在与项羽在垓下交战的时候，卢绾官至太尉，还被封为长安侯。
当时，高祖已经是帝王级的人物，由于卢绾与高祖的关系，他得以出入高祖的卧内。他的衣被、饮食、赏赐，都是群臣莫敢相望的。
虽然萧何、曹参、张良、陈平等能够因为才能过人、忠于职事而得到高祖的礼遇，但若轮到亲密的关系和被宠信的程度，都无法比得上卢绾，后来，卢绾可以自由出入皇宫。
汉五年九月，高祖率军平定了燕王臧荼的叛乱，他下诏要群臣推举新任燕王人选。
在此之前，高祖已经做出暗示，他打算册封卢绾为王，但卢绾的功劳根本无法与萧何、曹参这些人相比，才搞了这么一招。
群臣明白高祖心思，一致推举卢绾，“太尉长安侯卢绾常从平定天下，功最多，可王燕。”
六年后，西汉王朝发生陈豨的叛乱，自立为代王，劫略赵、代之地。