刘邦是生在秦朝时的沛郡（今江苏沛县），家里贫穷，自己又没有学习工商的职业，便在乡里中供吏役的奔走，后来补得一个泗（sì）水亭长，这亭长的职务，便是掌管逐捕盗贼的。他虽然没有大学问，然而他的器度很大，志气很高；他异常好酒好色，没钱沽（gū）酒，便去酒店中赊（shē）贷，有了钱时，常加倍还给，用钱如挥土一般，不作丝毫穷措大寒酸的气态。一次，他因着公务，到了长安，遇着秦始皇出游，见了皇帝的仪从，声势煊（xuān）赫，他叹息说道：“大丈夫不当是这样吗？”
单父人吕公和沛令（县官）是很好的朋友，因避仇人从单父迁居到沛郡，沛中的豪吏听得是沛令的重客，便都醵（jù）钱往贺。萧何时为沛吏，代理吕公主办一切受贺的事宜。当开筵受贺的时候，萧何令诸贺客道：“贺钱不满一千的，请坐在堂下。”刘邦是素来心里轻视沛中诸吏的，这次随着诸吏来贺，便写了一个贺帖说他的贺钱是一万，其实他并没持一钱，吕公见了他贺帖，便大惊异，忙出门迎接。吕公本是善相人之术的，及见刘邦的状貌，大为敬重，就引入尊他上坐，刘邦也毫不谦逊地上坐了。筵宴毕后，吕公独留着刘邦，对他说道：“我少年时候，就喜研究相人之术，相人很多，都不及你的相貌。望你自己爱惜，不要自弃了。我有一女，愿给你做一个执箕帚的妻妾。”刘邦去后，吕公的妻子吕媪（ǎo）埋怨吕公道：“你常以此女有贵相，当配贵人，怎么妄自许与刘邦呢？”吕公回说：“这不是你女子们所知道的。”于是刘邦娶了吕公的女儿为妻子。
秦始皇是最爱建筑的，他在活着时，便于骊山（在陕西临潼县）建筑他的坟墓，工程浩大，令国中各郡县选了徒役送至骊山，可怜一班农民，要抛弃他们家中的父母妻子和田中的工作，来做这种苦工。沛县不是例外，自然也要选送徒役的。于是由沛令强迫选了农民数百人，命了刘邦护送至骊山。