建立回归模型实际上就是根据已知两变量的数据求回归方程。如果两个变量之间存在着线性关系，则两个变量间的关系就可以拟合直线模型。
（一）平均数方法
如果只想从一组（X，Y）值中粗略地看看X与Y的简单线性关系，有时可以用平均数法建立回归方程来描述这种关系。
【例12-1】 下表中10对数据是为确定某心理量与物理量之间的关系而做的实验结果（表中物理量是取对数后的值）。假设两者呈线性关系，试以这10对数据结果建立该心理量与物理量的回归方程。
第一组（奇数组）
第二组（偶数组）
（1）与（2）联立，成二元一次方程组：
（二）最小二乘法
图12-2 回归直线图示
由于X与Y的关系分布在一个区域，两个变量的成对数据做成散点图后，两点确定一条直线，一个散点图中可以画出不止一条直线，也就是说会有很多条直线来表示两变量之间的关系。但是，在这多条直线中，有些直线离散点远，用它来表示两个变量之间的关系，准确性就较差。无论哪条直线也不可能使所有的散点都在其上。因此，要找一条与各点最适合的直线（best-fit line）来更好地反映两变量的关系。那么哪条直线最有代表性呢？图12-2中的虚线就是【例12-1】中用平均法求得的直线。实线就是用最小二乘法求得的直线。最小二乘法的原理与平均数法不同，它利用误差平方和最小原理来求回归方程。
每一点到直线沿Y轴方向的距离平方和为：
求回归方程就是求当公式12-2达到最小时a与b的值，而要使公式12-2式为最小，只需分别对a与b求偏导数，并令其等于零。即
经整理，并省略X与Y字母下面的下标，上面两式分别写成：
公式12-5两边同除以N，得
公式12-6式与公式12-7式联立，得