通过大量的观测数据，可以发现变量之间存在的统计规律性，并用一定的数学模型表示出来，这种用一定模型来表述变量相关关系的方法就称为回归分析。一次函数是变量之间存在的各种各样的关系模型中最简单的形式。对于这种线性关系（linear relationship）的回归分析叫做线性回归（linear regression）。只有一个自变量的线性回归称作简单线性回归（simple linear regression）。
【资料卡12-1】
回归
“回归”一词，最先是由高尔顿在研究身高与遗传问题时提出。1855年，他发表了一篇“遗传的身高向平均数方向的回归”文章，分析儿童身高与父母身高之间的关系，发现父母的身高可以预测子女的身高，当父母越高或越矮时，子女的身高会比一般儿童高或矮，他将子女与父母身高的这种现象拟合出一种线性关系。但是有趣的是，通过观察他注意到，尽管这是一种拟合较好的线性关系，但仍然存在例外现象：矮个的人的儿子比其父要高，身材较高的父母所生子女的身高将回降到人的平均身高。换句话说，当父母身高走向极端（或者非常高，或者非常矮）的人的子女，子女的身高不会像父母身高那样极端化，其身高要比父母们的身高更接近平均身高。高尔顿选用“回归”一词，把这一现象叫做“向平均数方向的回归”（regression toward mediocrity）。虽然这是一种特殊情况，与线性关系拟合的一般规则无关，但“线性回归”的术语仍被沿用下来。作为根据一种变量（父母身高）预测另一种变量（子女身高）的一般名称沿用至今，后被引用到对多种变量关系的描述。
——整理自《欧美统计学史》P25～26，37，50～51