1968年4月，空军提出了研制“小歼”(即后来的歼1 2)的计划，受当时政治环境的影响，关于“小歼”的设计思想，曾有“适应人民战争需要，开展空中游击战”的提法，但其本意是要搞出一种高度机动灵活、短距起落、维护简单、造价低廉的小型战斗机，问题的提出是与国际航空技术的动向相吻合的，但解决问题的方法却与众不同。
那时，世界上的新型战斗机正朝着体积大、设备全、技术复杂的方向发展，而我国采取的确是一种朴实的作法——通过缩小机体，减轻起飞重量来有效地提高飞机的机动性能。就当时我国的技术储备情况而言，这可能是最为现实的一条途径。研制“小歼”的任务在1968 年的会议上下达给南昌飞机制造厂，第二年3月正式命名为歼12。
南昌飞机制造厂从1968年7月开始方案设计，8月总体方案获上级部门批准。随后，以1年零5个月的时间，完成了详细设计、主要风洞试验、强度试验和系统模拟试验。原型机于1969年12月26日首次试飞成功。1973年9月10日，飞机向中央首长做了精彩的汇报表演，被叶剑英元帅赞誉为“空中李向阳”。歼12正常起飞重量为4450千克，空机重量只有3100千克，占据世界超声速战斗机的“最轻”冠军。
