均值找到以后,方差该除以几?
对数据 2、3、5、6,把均值放在 4。先预测:方差 2.5 与 10/3,谁会让已观察数据的似然更大?图上的实线围出相同的相对似然。
+ 最大似然点□ 无偏方差对应点● 当前候选等高线:相对似然 0.607 / 0.135 / 0.018 / 0.0003
- 当前相对似然
- 方差 MLE:SSE/n
- 无偏估计:SSE/(n−1)
把地形拆成两次选择
Σ(xᵢ−μ)² = SSE + n(μ−x̄)²,其中 SSE = Σ(xᵢ−x̄)²
ℓ(μ, σ²) = −n/2 · log(2πσ²) − [SSE + n(μ−x̄)²]/(2σ²)
固定正方差时,第二个平方项在 μ = x̄ 处最小。再沿 μ = x̄ 这条竖线选择方差:过小会让残差受到很重的惩罚,过大则会把密度摊薄。两者平衡在 σ̂² = SSE/n。把分母改成 n−1 是为修正重复抽样中的偏差,它优化的是另一个目标。
如果所有观测相同,令 μ 等于该常数,再让 σ² 从正值趋向 0,似然会无界增大。此时 σ² > 0 的模型中不存在有限最大似然点;不能把“不在参数空间中的 0”当成普通内部解。