秦始皇三十六年（公元前211年）秋天，长期操劳国事又纵欲过度的秦始皇，时常被一种不祥的预感所侵扰。信奉神祇的他，让人为他占卜，结果封辞显示的是巡游迁徙才会吉祥。于是他先迁徙了三万家民户到北河榆中定居，赏赐每户一级爵位。第二年十月癸丑日，又开始他的第五次巡游。
随同秦始皇这次出巡的，有已升任丞相的李斯，执掌始皇车骑和符玺的中东府令赵高。幼子胡亥因为羡慕出游请求跟从，秦始皇准许了他的请求。出发之前，秦始皇对军国大事做了一番安排，由右丞相冯去疾留守都城咸阳，总管朝政。至于长子扶苏，早已派往上郡，与大将蒙恬一起率兵防御匈奴。
秦始皇带着大队人马从咸阳出发，出武关，沿丹水、汉水到了方梦，又沿长江东下，经丹阳，来到钱塘。按计划准备在这里渡江上会稽山。因水波汹涌，就向西行进了一百二十里，从江水最狭窄的地方渡过。登上会稽山，祭祀大禹，遥望南海，立石碑刻字而歌颂秦德。回程经过吴县，从江乘县渡过长江，沿着海岸北上，到达琅琊。
秦始皇曾数次到达琅琊。琅琊地处东海之滨，传说中的仙人就住在东海的蓬莱山上。这正是琅琊吸引秦始皇的所在。当听说秦始皇再次来到琅琊，一直为秦始皇向仙人寻求长生不老药的方士徐福等人，因好几年没有结果，花费又多，害怕受到谴责，又撒谎说：“蓬莱仙药可以得到，但是经常被大鲛鱼所袭击，所以不能到达。希望皇帝派遣善射的人和我们一同去寻取，如果见到大鲛鱼就用连发的弓弩射杀它。”
秦始皇一心想着长生不死，以至于对这些荒诞不经之言深信不疑，他立即派人乘船入海射鱼。求药心切的他，居然自己也拿起连弩，等候大鲛鱼，想射杀它。从琅琊向北航行到荣成山，也没有见到大鱼。到芝罘山的途中，果然见到了巨大的鱼，秦始皇当即射杀了一条。而这时徐福早已不知去向。