杨业又名杨继业，原名重贵，麟州新秦（今陕西神木）人。其父杨信在后汉曾任麟州刺史。因他长期在太原生活，故《宋史》称他为太原人。
杨业就是后代戏曲小说中的杨老令公，是“杨家将”中的第一人。他从小就擅长骑射，爱好打猎。一次，他对与自己一同打猎的好友说：“我以后带兵打仗，也会像现在一样，迅猛如鹰犬捕杀野兔。”
杨业青少年时为后汉河东节度使刘崇的部属。刘崇在太原割据，建立北汉政权，提拔杨业为建雄军（今山西代县）节度使，并赐名刘继业，让他长期镇守北方重镇代州，在那里抵御辽兵的侵扰。杨业每战必捷，立下不少战功，当时就被人称作“刘无敌”。
太平兴国四年（979），宋太宗率大军亲征北汉，兵围太原，杨业把守太原城的东南面，令在此进攻的宋军胆寒。当刘继元出城向宋太宗投降时，杨业仍领人在城南苦战。宋太宗非常欣赏杨业，命刘继元派人去通报降讯，杨业听后，一个人向着北面大哭一场，才解甲投降。宋太宗对杨业厚加赏赐，任命他为左领军卫大将军、郑州防御使，仍带兵镇守代州，在河东战场上抗击辽兵。
太平兴国五年（980）三月，辽景宗派驸马萧多罗率军十万进犯雁门，杨业手下只有几千人马，知道不能和辽军硬拼。于是他派遣少数士兵固守关城，自己率领几百精兵抄小路绕到雁门关以北，转到辽军背后发起进攻。辽兵一路向南进军，没有遇到什么抵抗，正在得意时，忽然从后面响起一片喊杀声，只见烟尘滚滚，一支骑兵从背后杀来，像猛虎冲进羊群一样，乱砍猛杀。辽兵毫无防备，又弄不清后面来了多少人马，个个心惊胆战，阵容大乱，哪里还抵挡得了，纷纷向北逃窜。此次战役，杨业刀斩萧多罗，生擒辽将李重海，被辽军称为“杨无敌”。自此，辽人每每同宋军作战，只要一看到杨业的旗帜，都会望而生畏。杨业在这次战役后被提升为云州观察使，由于杨业威望太高，使他遭到其他宋将的妒忌，有的甚至上书诽谤他，但太宗并不相信这些不实之词，还把举报的书信交与杨业本人，以示对他的信任。杨业对此自然是感激涕零，决心效忠太宗。