两人对于殿下攘外必先安内的提议十分赞同，但说起来容易做起来难，如何处理好与蕃民和俚人的复杂关系令历代都十分头疼。这回主讲便换成了从政经验丰富的应节严，而这一切得从岛上的住民说起，赵昺听着不禁感慨，老头儿的功课做的不比自己少，也更为详尽，从各族的来历，生活习俗及与朝廷的关系都理的甚为清晰。他也对岛上的移民史有了大致的了解：
在汉族人口大批量迁徙上岛之前，最早从华南大陆迁徙到海南岛的俚族先民可称为原住民，继后是临高人、疍民、俚人等等。
先秦，海南岛原住的骆越族群，是海南岛上最早的居民，也就是是俚人的祖先。南北朝时，大陆两广一带的俚人跟随首领冼夫人，大规模迁移海南岛，并归附冼夫人统治。骆越族人与中原人“杂居其间，乃稍知言语，渐见礼化。”此后中原文化开始全面浸润骆越族群的原始文化，骆越族融合于汉族之后，这些群体不再为称之为越，而称之为俚。
临高人到达本岛的时间比俚人晚，在秦汉之际他们才从广东、广西渡海迁入海南岛，在俚先人从北向南迁移以后，地盘才为他们所占领。故俚人一贯称呼临高人为“客”，而临高人则从不称呼俚人为“客”。本朝的征夫，后来有一部分亦加入“临高人”行列，主要居住在岛北的临高地区。
汉民在秦统一全国后，经略岭南，中原人开始陆续南迁入琼，其中有将领、士卒、商贾、赘婿和谪徙罪人及平民百姓，此后历代皆由进入。但主要来援是避祸的流民、戍边的军兵、经商的商贾和贬嫡的官员等。
入宋之后，迁入海南岛的大陆移民成份发生变化。宋初北方的少数民族先后建立了辽、金、元等政权，他们之间连年混战，并不断南下攻宋侵扰宋朝边境，给中原以至江南地区的人民带来严重的灾难，迫使大批北方人民南迁，其中相当部分南迁的中原人先进入福建，再从福建迁入海南岛。蒙军大举南下后福建遭到“元兵扰攘”，又有一大批闽南人迁入本岛。