数理统计 I · 第 12 章
一条直线怎样成为正交投影
把直线画得“穿过点群”还不够。怎样确定再移动或转动它，都不能让残差平方和更小？
OLS 最优直线候选直线○ 观测点；竖虚线为候选残差
先尝试平移候选直线；观察 Σr 是否接近零。
候选直线多出的误差，来自哪里？
SSE(a,b) = SSE(OLS)
+ n[a + b x̄ − ȳ]²
+ Sxx(b − b̂)²
+ n[a + b x̄ − ȳ]²
+ Sxx(b − b̂)²
第一项是观测向量在回归平面之外的部分。第二项惩罚候选直线没有经过重心；第三项惩罚斜率方向不正确。后两项都不可能为负，这就说明了 OLS 的全局最优性。
正交意味着什么？
这里的最小二乘几何只要求 Sxx > 0。只有进一步做 t 检验与区间推断时，才需要相应的误差分布假设。