【マルコフ過程】例題2×2の確率遷移行列(行列の対角化・n乗)


 マルコフ過程は次の状態が現在の状態のみによって確率的に決まる過程である。ここでは簡単な2状態の間を遷移する例題でマルコフ過程を学ぶの問題というよりは行列の対角化・n乗の学習になる。

例題

RBの2状態について、下の図のように遷移する過程を考える。はじめ、R にあったとき以下の確率を求めよ。
 (1) 1回の遷移で R にいる確率と B にいる確率
 (2) 2回の遷移で R にいる確率
 (3) n回の遷移で R にいる確率

2状態間の遷移


1. 1回の遷移を表す遷移行列

 遷移行列を用いて2状態を記述するのが良い。

  • x_1:1回目の遷移で R にいる確率
  • y_1:1回目の遷移で B にいる確率
  • 初期状態は R にいる( x_0=1,y_0=0

 ここで遷移行列A と置いておく。

    \begin{eqnarray*} A=\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\ \frac{2}{3} & \frac{1}{3} \end{array} \right) \end{eqnarray*}

 例題(1)の答えは簡単に求められる。

    \begin{eqnarray*} x_1=\frac{1}{3},\quad y_1=\frac{2}{3} \end{eqnarray*}

である。\blacksquare



2. 2回の遷移でどうなるか?

2.1 1回遷移したあとの状態から考える

 例題(2)は(1)の答えを用いれば簡単に計算できる。

2回目の遷移は1回目の遷移が終わった状態のみに依存する。つまり、初期状態の情報は1回目の遷移が終わった後の状態に集約されている

 行列を使って(2)を解くと以下のようになる。

    \begin{eqnarray*} \left( \begin{array}{c} x_2\\ \\ y_2 \end{array} \right) &=&\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\  \frac{2}{3} & \frac{1}{3} \end{array} \right) \left( \begin{array}{c} \frac{1}{3}\\ \\ \frac{2}{3} \end{array} \right) \\ \\  &=& \left( \begin{array}{c} \frac{5}{9}\\ \\ \frac{4}{9} \end{array} \right) \quad \blacksquare \end{eqnarray*}



2.2 初期状態からの遷移を追う

 1回遷移が終わった状態から考える代わりに、初期状態から遷移確率行列 A を用いて2回の遷移を考える。つまり、下のように、A^2 を考えれば良い。

 当然1回遷移が終わった状態から求めた 2.1 の結果と同じになる。



3. n回遷移した状態

3.1 遷移行列を使って解く

 初期状態から n 回の遷移があるため、遷移行列を n 乗した(A^n)。

 

 答えの x_n,y_n を求めるためには、A^n が知りたい。したがって、

  • 固有値・固有ベクトルを求める
  • 対角化する
  • A^n を求める

ことをすればよい。簡単な行列の対角化の問題である。



3.2 行列のn乗計算

 固有値:

    \begin{eqnarray*} \left| \begin{array}{cc} \frac{1}{3}-\lambda & \frac{2}{3} \\ \frac{2}{3} & \frac{1}{3}\lambda \end{array} \right|&=&0 \\ \\ \left(\frac{1}{3}-\lambda\right)^2&=& \left(\frac{2}{3} \right)^2 \\ \\ \frac{1}{3}-\lambda&=&\pm \frac{2}{3} \\ \\ \lambda&=&  -\frac{1}{3}, 1 \end{eqnarray*}

\lambda=-\frac{1}{3} の固有ベクトル:

    \begin{eqnarray*} \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 \\ -1 \end{array}\right) \end{eqnarray*}

\lambda=1 の固有ベクトル:

    \begin{eqnarray*} \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 \\ 1 \end{array}\right) \end{eqnarray*}

2つの固有ベクトルは規格化しておいた。上の2つの固有ベクトルは以下の性質をもつ。

  • 規格化されている
  • 互いに直交する

したがって、この2つの固有ベクトルによって作られる行列 P は、

    \begin{eqnarray*} P=\frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & 1 \\ -1 & 1 \end{array}\right) \end{eqnarray*}

でユニタリ行列である。ユニタリ行列の逆行列は転置行列で与えられる(この場合は2\times 2 行列なので別の方法でも簡単に求めることができる)。

    \begin{eqnarray*} P^{-1}= \,^tP=\frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & -1 \\ 1 & 1 \end{array}\right) \end{eqnarray*}

対角化:

対角化行列を D=P^{-1}AP とする。

    \begin{eqnarray*} D=P^{-1}AP=\left(\begin{array}{cc} -\frac{1}{3} & 0 \\ 0 & 1 \end{array}\right) \end{eqnarray*}

A^n を求める:

    \begin{eqnarray*} D^n&=&P^{-1}AP\cdot P^{-1}AP\cdot \cdots \cdot P^{-1}AP \\ \\ &=&P^{-1}A^n P \quad (\because PP^{-1}=E) \end{eqnarray*}


よって、

    \begin{eqnarray*} A^n &=& PD^nP^{-1} \\ \\ &=& \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & -1 \\ 1 & 1 \end{array}\right) \left(\begin{array}{cc} \left(-\frac{1}{3}\right)^n & 0 \\ 0 & 1^n \end{array}\right) \frac{1}{2} \left(\begin{array}{cc} 1 & 1 \\ -1 & 1 \end{array}\right) \\ \\ \\ &=& \frac{1}{2} \left(\begin{array}{cc} 1+\left(-\frac{1}{3}\right)^n  & 1-\left(-\frac{1}{3}\right)^n \\ \\ 1-\left(-\frac{1}{3}\right)^n & 1+\left(-\frac{1}{3}\right)^n \end{array}\right) \end{eqnarray*}

である。

    \begin{eqnarray*} \left(\begin{array}{cc} x_n \\ \\ y_n  \end{array}\right)&=& \frac{1}{2} \left(\begin{array}{cc} 1+\left(-\frac{1}{3}\right)^n  & 1-\left(-\frac{1}{3}\right)^n \\ \\  1-\left(-\frac{1}{3}\right)^n & 1+\left(-\frac{1}{3}\right)^n \end{array}\right) \left(\begin{array}{cc} 1 \\ \\ 0  \end{array}\right) \\ \\ \\ &=& \left(\begin{array}{cc} \frac{1}{2}\left[1+\left(-\frac{1}{3}\right)^n\right]\\ \\ \frac{1}{2}\left[1-\left(-\frac{1}{3}\right)^n\right] \end{array}\right) \quad \blacksquare \end{eqnarray*}

 これが答えである。n=1,2 の値は例題(1)(2)の結果と一致する。



3.3 漸化式

 nn-1 の関係に注目すれば漸化式が作れる。

    \begin{eqnarray*} \left(\begin{array}{cc} x_n \\ \\ y_n  \end{array}\right) =\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\  \frac{2}{3} & \frac{1}{3} \end{array} \right) \left(\begin{array}{cc} x_{n-1} \\ \\ y_{n-1}  \end{array}\right) \end{eqnarray*}

より、

    \begin{eqnarray*} \begin{cases} x_n =\frac{1}{3}x_{n-1}+\frac{2}{3}y_{n-1} \\ \\ y_n =\frac{2}{3}x_{n-1}+\frac{1}{3}y_{n-1} \end{cases} \end{eqnarray*}

2式を足した式、引いた式をつくる。

    \begin{eqnarray*} \begin{cases} x_n + y_n =1\cdot(x_{n-1} + y_{n-1})  \\ \\ x_n - y_n =-\frac{1}{3}\cdot(x_{n-1}-y_{n-1}) \end{cases} \end{eqnarray*}

1つ目の式(公比1の等比数列):

    \begin{eqnarray*} x_n + y_n &=&1\cdot(x_{n-1} + y_{n-1})  \\ \\ &=&x_{n-2} + y_{n-2}\\  \\ &=& \cdots \\ \\ &=& x_{0} + y_{0} =1 \end{eqnarray*}

2つ目の式(公比-1/3の等比数列):

    \begin{eqnarray*} x_n - y_n &=&-\frac{1}{3}\cdot(x_{n-1}-y_{n-1}) \\ \\ &=&\left(-\frac{1}{3}\right)^2 \cdot(x_{n-2}-y_{n-2}) \\ \\ &=& \cdots \\ \\ &=&\left(-\frac{1}{3}\right)^n \cdot(x_{0}-y_{0}) \\ \\ &=&\left(-\frac{1}{3}\right)^n \end{eqnarray*}

したがって、

    \begin{eqnarray*} \begin{cases} x_n + y_n =1 \\ \\ x_n - y_n =\left(-\frac{1}{3}\right)^n \end{cases} \end{eqnarray*}

である。

    \begin{eqnarray*} \begin{cases} x_n = \frac{1}{2}\left[1+\left(-\frac{1}{3}\right)^n\right] \\ \\ y_n = \frac{1}{2}\left[1-\left(-\frac{1}{3}\right)^n\right] \end{cases}\quad \blacksquare \end{eqnarray*}


行列を用いた方法と同じ結果を得る。



4. まとめ

 遷移確率行列を用いて解いてもらっても良い。漸化式を用いて解いてもらっても良い。漸化式のところでは、明らかに遷移確率行列の固有値、固有関数の形が出ている。これは、

基底 \{(x_n,0) \, ,(0,y_n)\} \to 新たな基底 \{(x_n,y_n)\,,(x_n,-y_n)\}

としているようにも見える。例えば、

    \begin{eqnarray*} \left(\begin{array}{cc} x_n + y_n \\ \\ x_n - y_n  \end{array}\right) = \left(\begin{array}{cc} 1&0 \\ \\ 0&-\frac{1}{3} \end{array}\right) \left(\begin{array}{cc} x_{n-1} + y_{n-1} \\ \\ x_{n-1} - y_{n-1}  \end{array}\right) \end{eqnarray*}

のように書ける。したがって、漸化式で解いた方法も中身は行列の対角化の方法と同じことである。




コメントを残す

メールアドレスが公開されることはありません。