信息量实验 · 07 / 1
样本量翻倍，似然会怎样变弯？
先预测：如果观察到的成功次数偏离 np₀，“这一次的曲率”还会等于平均信息量吗？
期望对数似然差这一次的对数似然差在 p₀ 处的期望二次近似
期望信息 Iₙ(p₀)对所有可能样本取平均
观察信息 Jₙ(p₀)只由当前 k 决定
无偏估计的方差下界p₀(1−p₀) / n
把“弯”写成可核对的量
Iₙ(p₀) = n / [p₀(1−p₀)]
Jₙ(p₀) = k/p₀² + (n−k)/(1−p₀)²
深色曲线是 Eₚ₀[ℓ(p)−ℓ(p₀)]；橙色曲线是当前样本的 ℓ(p)−ℓ(p₀)。两者都在 p₀ 处为零，但橙线不一定在那里达到最高点。
用三次操作作出判断
先固定 p₀=0.60、n=25，比较 k=15 与 k=4；再保持成功比例，增大 n。最后把 p₀ 推近 0 或 1，观察参数化为“概率 p”时的信息变化。
虚线只在 p₀ 附近近似期望曲线。图的横轴随标准误聚焦局部区域，因此比较 n 时也要看横轴范围。
下界适用于内点 0<p<1、固定支持等正则条件下的无偏估计。边界不纳入此实验。信息量取决于参数的尺度；不能把“接近边界信息大”解释为所有统计任务都更容易。