且说高祖讨伐英布时，被弩箭射中，此后，一直受此伤困扰，时好时坏。
等到了汉高祖十二年（公元前195年）三月间，病情渐渐严重，吕后请来御医进行诊治。
御医进去见高祖，高祖询问御医这病是否能治好，御医说：“病可以治好。”
高祖一听口气，就知道不会好了，于是，展现出一直以来的本性，谩骂道：
“我以一个布衣平民，手提三尺剑取得天下，这不是天命吗?命运在天，虽有扁鹊，又有什么用处!”
高祖自知生命已经到了尽头，不让御医治病，赏赐黄金五十斤，叫他离去。
吕后看着弥留中的高祖，近前问高祖道：
“陛下百年以后，萧相国如果死了，让谁接替他?”
高祖说：“曹参可以。”
吕后又问：“曹参之后呢？”
高祖说道：“王陵可以。但是，王陵稍为憨直，陈平可以帮助他。”
“陈平智慧有余，然而难以独立担当。周勃稳重厚道，缺少文才，但能安定刘氏天下的一定是周勃，可以让他做太尉。”
吕后又问：“这之后呢？”
高祖说：“这以后也不是你所能知道的。”
卢绾听闻高祖病重，带着几千人马在边境上等候消息，希望高祖病愈之后，自己回到长安谢罪。
汉高祖十二年四月二十五日（公元前195年6月1日），高祖在长乐宫中，瞑目而崩。享年六十二岁。葬于长陵（在今陕西咸阳），谥号高皇帝，庙号太祖。
自高祖被封为汉王后，直到逝世，总计十二年。
卢绾听到高祖驾崩，担心吕后杀死自己，带人逃入匈奴。
高祖逝世，吕后过了四天秘不发丧，而是叫来审食其商量道：
“将领们和皇帝同为编户平民，如今北面称臣，为此常常怏怏不乐，现在事奉年轻的皇帝，心里会更不高兴，不如全部族灭了这些人，否则天下不会安定。”