变量与变量之间的相关关系虽然不是确定性的函数关系，但在大量的观察下，仍然可以借助一些数学模型来表达它们之间的规律，这种用来表达变量之间规律的数学模型就称为回归模型。由于相关变量之间的规律性有线性与非线性相关之分，所以，回归模型分为线性回归模型和非线性回归模型，即直线模型和曲线模型两种。按回归分析涉及的相关变量的数目，回归模型又可分为简单回归模型（一个自变、一个因变量）和多重回归模型（多元是指两个以上自变量）。
在初等数学中，一次函数的标准形式可以写成Y=a+bX，这个式子表明，每取一个X值，就有一个唯一确定的值与之对应，做出图来是一条直线。但是在心理与教育等许多领域的实际研究中，两个变量的关系可能只呈直线趋势而不完全是直线。
图12-1 回归直线图示
例如：X，Y的关系可以用散点图来表示。
一般Y对X的回归系数以bY·X表示，而X对Y的回归系数以bX·Y表示。