$X$が確率変数、$Y$が可積分確率変数であるとき、期待値のTower property $$\mathbb E\{\mathbb E\{Y\mid X\}\} = \mathbb E\{Y\}$$ の証明を離散と連続を対応させて書くと、次のようになります。

離散の場合

$$\mathbb E\{\mathbb E\{Y\mid X\}\} = \sum_x \mathbb E\{Y\mid X=x\}\,\Pr\{X=x\}$$ ここで、 $$\mathbb E\{Y\mid X=x\} = \sum_y y\,\Pr\{Y=y\mid X=x\}$$ なので、 $$\begin{aligned} \mathbb E\{\mathbb E\{Y\mid X\}\} &= \sum_x \left[ \sum_y y\,\Pr\{Y=y\mid X=x\} \right] \Pr\{X=x\} \\ &= \sum_x\sum_y y\,\Pr\{Y=y\mid X=x\}\Pr\{X=x\} \\ &= \sum_x\sum_y y\,\Pr\{X=x,Y=y\} \\ &= \mathbb E\{Y\}. \end{aligned}$$ 最後の変形は、 $$\Pr\{Y=y\mid X=x\}\Pr\{X=x\}=\Pr\{X=x,Y=y\}$$ を使っています。

連続の場合

$$\mathbb E\{\mathbb E\{Y\mid X\}\} = \int_{-\infty}^{\infty} \mathbb E\{Y\mid X=x\}\,f_X(x)\,dx$$ ここで、 $$\mathbb E\{Y\mid X=x\}= \int_{-\infty}^{\infty} y\,f_{Y\mid X=x}(y)\,dy$$ なので、 $$\begin{aligned} \mathbb E\{\mathbb E\{Y\mid X\}\} &= \int_{-\infty}^{\infty} \left[ \int_{-\infty}^{\infty} y\,f_{Y\mid X=x}(y)\,dy \right] f_X(x)\,dx \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} y\,f_{Y\mid X=x}(y)f_X(x)\,dy\,dx \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} y\,f_{X,Y}(x,y)\,dy\,dx \\ &= \mathbb E\{Y\}. \end{aligned}$$ 最後の変形は、 $$f_{Y\mid X=x}(y)f_X(x)=f_{X,Y}(x,y)$$ を使っています。

対応表

$$\begin{array}{c|c} \text{離散} & \text{連続} \\ \hline \sum_x & \int dx \\ \Pr\{X=x\} & f_X(x)\,dx \\ \Pr\{Y=y\mid X=x\} & f_{Y\mid X=x}(y)\,dy \\ \Pr\{X=x,Y=y\} & f_{X,Y}(x,y)\,dx\,dy \\ \sum_x\sum_y y\,\Pr\{X=x,Y=y\} & \int\int y\,f_{X,Y}(x,y)\,dy\,dx \end{array}$$ $f_X(x)$が確率密度であって確率でない理由は、離散の場合の $$\Pr\{X=x\}$$ に対応する連続の場合の量は、 $$f_X(x)\,dx$$ です。 したがって、連続の場合に式の中で $f_X(x)$ が出てくるのは、積分記号の $dx$ と一緒になって $$f_X(x)\,dx$$ という確率要素を作っているからです。

注意として、条件付き期待値 $\mathbb{E}\{Y\mid X\}$ は厳密には略記であり、本来は $X$ が生成する $\sigma$-field に関する条件付き期待値 $$ \mathbb{E}\{Y\mid \sigma(X)\} $$ を意味します。ここで $Y$ は可積分確率変数です。

この条件付き期待値は $\sigma(X)$-可測な確率変数であるため、ある可測関数 $g$ により $$ \mathbb{E}\{Y\mid \sigma(X)\}=g(X) $$ と表せます。

離散の場合には、$\Pr\{X=x\}>0$ であれば $$ g(x)=\mathbb{E}\{Y\mid X=x\} $$ と通常の条件付き期待値として解釈できます。

一方、連続の場合には通常 $$ \Pr\{X=x\}=0 $$ です。そのため、$\mathbb{E}\{Y\mid X=x\}$ は、事象 $\{X=x\}$ の下で条件付けた期待値ではありません。これは、上の関数 $g$ の値 $g(x)$ を表す慣用的な略記です。

密度が存在する場合には、この $g(x)$ は $$ g(x)=\int_{-\infty}^{\infty} y f_{Y\mid X=x}(y)\,dy $$ と書けます。ただし、ここでの $f_{Y\mid X=x}(y)$ も、確率ゼロの事象 $\{X=x\}$ による条件付けではなく、条件付き密度として定義されるものです。

前のブログ 次のブログ