武术萌芽于原始社会时期，源起于我国远古祖先的生产劳动。人们在狩猎的生产活动中，创制了石刀、石锤、木棍等武器，逐渐学会了躲闪、跳远、滚翻以及运用石器、木棒劈、砍、刺等技能。氏族公社时代，经常发生部落战争，因此在战场上搏斗的经验也不断得到总结，比较成功的一击、一刺、一拳、一腿，被模仿、传授、习练着，促进了武术的萌芽。
武术成形于奴隶社会时期。夏朝建立，经过连绵不断的战火，武术为了适应实战需要进一步向实用化、规范化发展，夏朝时期的武术活动主要在以下两个方面发展：一是军队的武术活动，二是以武术为主的学校教育。
商朝出现了武术训练的重要手段——田猎，利用“武舞”来训练士兵，鼓舞士气。周朝设的“序”等学校中也把射御、习舞列为教育内容之一。相传在周时期出现了一部中国武术史上重要的著作《周易》，亦称《易经》，“一阴一阳谓之道”，这本书蕴含很丰富的哲学思想，对我国养生学的发展影响极为深远，其“易有太极，是生两仪，两仪生四象，四象生八卦”产生了太极学说，从此奠基中国武术体系。进入春秋战国以后，诸侯争霸，都很重视技术在战场中的运用。齐桓公举行春秋两季的“角试”来选拔天下英雄。在这时期，剑的制造及剑道都得到了空前的发展。
武术发展于封建社会时期。秦汉以来，盛行角力、击剑。随着“宴乐兴舞”的习俗，手持器械的舞练时常在乐饮酒酣时出现，如《史记·项羽事纪》记载的“鸿门宴”中“项庄舞剑，意在沛公”，便是这一形式的反映。此外，还有“刀舞”“力舞”等，虽具娱乐性，但从技术上更近于今天套路形式的运动。
唐朝以来开始实行武举制，对武术的发展起了促进作用，如对有一技之长的士兵授予荣誉称号。裴民将军的剑术独冠一时，裴民的剑术、李白诗歌、张旭草书并称唐代三绝。