素以“半部论语治天下”著称的赵普可以称得上是宋朝的第一文臣。
在赵匡胤还没有发迹的时候，赵普就已经在赵匡胤的父亲身边当差了，那时，赵匡胤还和他兄弟相称。后来，赵普成为赵匡胤的幕僚，在陈桥兵变中出了大力。在宋建国之初，赵普更是皇帝的左右手，以至于太祖的母亲杜太后都对他说：“我的儿子现在还不会做皇帝，一切还需赵书记劳心。”
赵普的祖籍是幽州蓟县（今北京），他的父亲赵迥在后唐末期举家迁到常山（今河北正定），后晋时，赵普一家又迁居洛阳并长期在此定居。由于原籍已属于辽国控制，赵普便经常自称“常山人”。
由于赵普小时候家境还不错，所以就读了些书，但都不求甚解，并没有积累多少学识，眼看着武功练不成，科举之途也没有希望，他就学着父亲投奔军中做了谋士。
赵匡胤早就知道赵普这个人断事明敏，非常有才能，就把他笼络到自己的父亲赵弘殷帐下听差。赵弘殷赴淮南作战，没想到在滁州生了一场大病。赵普在旁朝夕侍奉，甚得赵弘殷欢心。因为两家同姓为赵，赵普顺势与赵匡胤父子攀附为同宗。同一年，赵匡胤升任殿前都指挥使，选赵普做了节度推官，赵普正式进入赵匡胤的幕府。周世宗死前任命赵匡胤为殿前都点检，并领归德州节度使，赵普也由此升为节度掌书记。
陈桥兵变后，赵匡胤自己的幕僚们在后周的官职都太低，为了稳定局势，只能留用范质、王溥、魏仁浦为宰相，将赵普升为右谏议大夫、枢密直学士，参与掌握枢密院的军事大权。在平定了李筠叛乱后，赵普又升为兵部侍郎、枢密副使，成为赵匡胤幕府中第一个升任两府大臣的人。
宋太祖为了避免宋朝成为继后周之后第六个短命的政权，向群臣征询对策，只有赵普的回答让宋太祖最为满意。赵普建议宋太祖，对藩镇要“稍夺其权，制其钱谷，收其精兵”，以加强皇权；对名望比较高的石守信等军事将领，要收其兵权，以避免可能的兵变。宋太祖采纳了他的建议，逐步实施，收到了良好的效果，赵普更加受到太祖的信任。后来，为了能让赵普做上宰相，宋太祖一天之内将范质、王溥、魏仁浦同时罢免。