司马懿生于汉灵帝光和二年，也就是后世纪元的公元一百七十九年，比马超小了一岁。是东汉颍川太守司马儁之孙，司马防之子，是颍川名门司马家最小的一辈儿。
司马防一共生有八个儿子，既是后来名动四方的“司马八达”。其中，司马懿排行第二，按照长幼顺序，司马防给他起了仲达的表字。
司马懿年少之时，便胸怀谋略，言行皆异于同龄之人。时任南阳太守的杨俊，素以知人善任而著称。杨俊在第一次见到司马懿的时候就曾断言：聪慧果断，英姿不凡，久后必非池中之物。
少年时期的司马懿，拜入当时在颍川隐居的名士胡昭门下，跟随胡昭学习各种本事。后来因为年少轻狂，司马懿得罪了同郡的周生，被周生网罗人手所陷害，流落到了崤山一带，幸得胡昭不远千里赶来，在渑池拦住了周生，动之以情晓之以理，一番哭诉之后，总算是把司马懿给解救了出来。
没想到刚被自己的老师解救，司马懿便又感觉到了新的危机！那种如芒在背的危机感，令他有些心慌。连忙拉着老师胡昭离开了崤山，一路快马加鞭的赶向了颍川。
或许，冥冥之中自有天意，司马懿此刻理当命不该绝。
崤山无论是距离潼关，还是距离函谷关，其实都并不远。马超部下的探马耳聪目明，若是马超提前特意叮嘱，或许探马们就能发现司马懿的踪迹了。可惜的是，马超并不知道此刻的司马懿竟然流落到了崤山之间，因此并未对探马们有过特意的吩咐，阴差阳错之下，司马懿便这样神不知鬼不觉的在马超的眼皮子底下溜走了。以至于多年之后，马超每每想起此事来，都要痛恨自己未能及时发觉司马懿的行踪，白白错失了一个大好的机会，令司马懿此后日渐羽翼丰满，成了马超日后最强劲的对手之一。