自从曹操退兵以后，刘备便在小沛住了下来。要说刘备为啥要住在小沛呢？首先，刘备已经是豫州刺史了，当然要住在豫州；第二，这里离徐州彭城很近，能与陶谦守望相助；第三，小沛豫州、徐州、兖州交界之处，距离徐州、兖州边界均不足五十里，地理位置优越，向南能掌控豫州，向西能威胁兖州，向东自然利于入主徐州。而陶谦同意让刘备住在小沛，一则是二人可以互为犄角抵御曹操，二则是希望刘备作为徐州的外围防线。
刘备一边在小沛厉兵秣马、招揽人才，准备大展拳脚，成就一番事业，一边盘算着如何在兖州、豫州、徐州这块土地上分上一大块儿蛋糕。运气来了挡都挡不住，今年秋天曹操刚打完徐州回去，本就垂垂老矣的陶恭祖连吓带病，终于一命呜呼了。都说知子莫如父，这陶谦对自己的儿子太了解了，就算没有和曹操结仇，他们也守不住徐州的基业，更何况此时徐州已经乱成了一锅粥。与其让儿子继承个烂摊子，将来被人杀死，不如做个顺水人情，让别人来保护自己的儿子。于是，陶谦在临死之前对别驾糜竺说：“要想使徐州安定，只有刘备一人能做到。”
陶谦这边刚死，糜竺便带着州里大大小小的官吏来到了小沛，请刘备入主徐州，主持大局。要说刘备想不想拥有一州之地，当然想太像啦，可是刘备沉吟片刻，婉拒了，没敢当时就答应。毕竟自己初来乍到，人生地不熟，不知道这些人是真心拥戴自己做首领呢，还是想把他架空做个傀儡呢？另一方面，自己手里资本太薄了，不敢满口答应。于是便对众人道：“备初来乍到，对徐州未有尺寸之功，怎敢居于高位。且陶公有二子，理应继承州牧之位。”
糜竺就不同意了，反驳道：“陶公生前就说过，两个儿子都不能守住基业，唯有刘使君能安定徐州。且州牧并非爵位，哪儿有父子相继的？”