耶律楚材在金章宗明昌元年六月二十日（1190年7月24日）生于燕京（今北京），他出身契丹贵族家庭，是辽太祖耶律阿保机的九世孙、东丹王耶律倍八世孙、金朝尚书右丞耶律履之子。其名及字均取自《春秋左氏传》中的“楚虽有材，晋实用之”的典故，蒙古名吾图撒合里，意为“长髯人”。
明昌二年（1191年）六月，耶律履去世，耶律楚材时年两岁（另有明昌元年及明昌三年去世之说），随母杨氏定居义州弘政（今锦州义县），受到母亲全面的教育，十二岁时入闾山显州书院，十三岁时学习诗书。
自耶律楚材的祖父起他们家世代仕于金朝，常居燕京。当时燕京有深厚的汉文化的基础，这使得耶律氏世代受到汉文化熏陶，形成了读书知礼的家风。耶律楚材从小就受到了儒家思想的熏陶，他的理想是按照儒家的学说来治理天下。耶律楚材秉承家族传统，自幼学习汉籍，精通汉文，年纪轻轻就已“博及群书，旁通天文、地理、律历、术数及释老医卜之说，下笔为文，若宿构著”了。
泰和六年（1206年），根据金朝制度，宰相的儿子能够被赐予省掾之职，耶律楚材没有到任。想要参与科举考试，章宗询问参与考试之人关于审案的多件事。当时有十七人参与考试，而只有耶律楚材的回答为优等，于是被征召授予掾职，后任开州同知。
贞祐二年（1214年），金宣宗南迁至汴京，耶律楚材之兄耶律辨才、耶律善才均随行。而耶律楚材留在中都，被留守燕京的丞相完颜承晖任命为左右司员外郎。
成吉思汗十年（1215年），蒙古军攻占燕京，成吉思汗得知他才华横溢、满腹经纶，遂派人向他询问治国大计。据格鲁塞《草原帝国》记载：“占领北京后，在愿意支持蒙古统治的俘虏中，成吉思汗选中一位契丹族王子耶律楚材，他以‘身长八尺，美髯宏声’博得成吉思汗的喜爱，被任命为辅臣。