全記事一覧 > 数学 > 線形代数

【マルコフ過程】例題2×2の確率遷移行列（行列の対角化・n乗）

　マルコフ過程は次の状態が現在の状態のみによって確率的に決まる過程である。ここでは簡単な２状態の間を遷移する例題でマルコフ過程を学ぶの問題というよりは行列の対角化・n乗の学習になる。

例題

RとBの２状態について、下の図のように遷移する過程を考える。はじめ、R にあったとき以下の確率を求めよ。
　(1) 1回の遷移で R にいる確率と B にいる確率
　(2) 2回の遷移で R にいる確率
　(3) n回の遷移で R にいる確率

2状態間の遷移


1. １回の遷移を表す遷移行列

　遷移行列を用いて２状態を記述するのが良い。

  • x_1：１回目の遷移で R にいる確率
  • y_1：１回目の遷移で B にいる確率
  • 初期状態は R にいる（ x_0=1,y_0=0 ）

　ここで遷移行列を A と置いておく。

    \begin{eqnarray*} A=\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\ \frac{2}{3} & \frac{1}{3} \end{array} \right) \end{eqnarray*}

　例題(1)の答えは簡単に求められる。

    \begin{eqnarray*} x_1=\frac{1}{3},\quad y_1=\frac{2}{3} \end{eqnarray*}

である。\blacksquare



2. 2回の遷移でどうなるか？

2.1 １回遷移したあとの状態から考える

　例題(2)は(1)の答えを用いれば簡単に計算できる。

２回目の遷移は１回目の遷移が終わった状態のみに依存する。つまり、初期状態の情報は１回目の遷移が終わった後の状態に集約されている。

　行列を使って(2)を解くと以下のようになる。

    \begin{eqnarray*} \left( \begin{array}{c} x_2\\ \\ y_2 \end{array} \right) &=&\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\ \frac{2}{3} & \frac{1}{3} \end{array} \right) \left( \begin{array}{c} \frac{1}{3}\\ \\ \frac{2}{3} \end{array} \right) \\ \\ &=& \left( \begin{array}{c} \frac{5}{9}\\ \\ \frac{4}{9} \end{array} \right) \quad \blacksquare \end{eqnarray*}



2.2 初期状態からの遷移を追う

　１回遷移が終わった状態から考える代わりに、初期状態から遷移確率行列 A を用いて２回の遷移を考える。つまり、下のように、A^2 を考えれば良い。

　当然1回遷移が終わった状態から求めた 2.1 の結果と同じになる。



3. n回遷移した状態

3.1 遷移行列を使って解く

　初期状態から n 回の遷移があるため、遷移行列を n 乗した（A^n）。

　

　答えの x_n,y_n を求めるためには、A^n が知りたい。したがって、

  • 固有値・固有ベクトルを求める
  • 対角化する
  • A^n を求める

ことをすればよい。簡単な行列の対角化の問題である。



3.2 行列のn乗計算

　固有値：

    \begin{eqnarray*} \left| \begin{array}{cc} \frac{1}{3}-\lambda & \frac{2}{3} \\ \frac{2}{3} & \frac{1}{3}\lambda \end{array} \right|&=&0 \\ \\ \left(\frac{1}{3}-\lambda\right)^2&=& \left(\frac{2}{3} \right)^2 \\ \\ \frac{1}{3}-\lambda&=&\pm \frac{2}{3} \\ \\ \lambda&=& -\frac{1}{3}, 1 \end{eqnarray*}

\lambda=-\frac{1}{3} の固有ベクトル：

    \begin{eqnarray*} \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 \\ -1 \end{array}\right) \end{eqnarray*}

\lambda=1 の固有ベクトル：

    \begin{eqnarray*} \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 \\ 1 \end{array}\right) \end{eqnarray*}

２つの固有ベクトルは規格化しておいた。上の２つの固有ベクトルは以下の性質をもつ。

  • 規格化されている
  • 互いに直交する

したがって、この２つの固有ベクトルによって作られる行列 P は、

    \begin{eqnarray*} P=\frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & 1 \\ -1 & 1 \end{array}\right) \end{eqnarray*}

でユニタリ行列である。ユニタリ行列の逆行列は転置行列で与えられる（この場合は2\times 2 行列なので別の方法でも簡単に求めることができる）。

    \begin{eqnarray*} P^{-1}= \,^tP=\frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & -1 \\ 1 & 1 \end{array}\right) \end{eqnarray*}

対角化：

対角化行列を D=P^{-1}AP とする。

    \begin{eqnarray*} D=P^{-1}AP=\left(\begin{array}{cc} -\frac{1}{3} & 0 \\ 0 & 1 \end{array}\right) \end{eqnarray*}

A^n を求める：

    \begin{eqnarray*} D^n&=&P^{-1}AP\cdot P^{-1}AP\cdot \cdots \cdot P^{-1}AP \\ \\ &=&P^{-1}A^n P \quad (\because PP^{-1}=E) \end{eqnarray*}


よって、

    \begin{eqnarray*} A^n &=& PD^nP^{-1} \\ \\ &=& \frac{1}{\sqrt{2}} \left(\begin{array}{cc} 1 & -1 \\ 1 & 1 \end{array}\right) \left(\begin{array}{cc} \left(-\frac{1}{3}\right)^n & 0 \\ 0 & 1^n \end{array}\right) \frac{1}{2} \left(\begin{array}{cc} 1 & 1 \\ -1 & 1 \end{array}\right) \\ \\ \\ &=& \frac{1}{2} \left(\begin{array}{cc} 1+\left(-\frac{1}{3}\right)^n & 1-\left(-\frac{1}{3}\right)^n \\ \\ 1-\left(-\frac{1}{3}\right)^n & 1+\left(-\frac{1}{3}\right)^n \end{array}\right) \end{eqnarray*}

である。

    \begin{eqnarray*} \left(\begin{array}{cc} x_n \\ \\ y_n \end{array}\right)&=& \frac{1}{2} \left(\begin{array}{cc} 1+\left(-\frac{1}{3}\right)^n & 1-\left(-\frac{1}{3}\right)^n \\ \\ 1-\left(-\frac{1}{3}\right)^n & 1+\left(-\frac{1}{3}\right)^n \end{array}\right) \left(\begin{array}{cc} 1 \\ \\ 0 \end{array}\right) \\ \\ \\ &=& \left(\begin{array}{cc} \frac{1}{2}\left[1+\left(-\frac{1}{3}\right)^n\right]\\ \\ \frac{1}{2}\left[1-\left(-\frac{1}{3}\right)^n\right] \end{array}\right) \quad \blacksquare \end{eqnarray*}

　これが答えである。n=1,2 の値は例題(1)(2)の結果と一致する。



3.3 漸化式

　n と n-1 の関係に注目すれば漸化式が作れる。

    \begin{eqnarray*} \left(\begin{array}{cc} x_n \\ \\ y_n \end{array}\right) =\left( \begin{array}{cc} \frac{1}{3} & \frac{2}{3} \\ \\ \frac{2}{3} & \frac{1}{3} \end{array} \right) \left(\begin{array}{cc} x_{n-1} \\ \\ y_{n-1} \end{array}\right) \end{eqnarray*}

より、

    \begin{eqnarray*} \begin{cases} x_n =\frac{1}{3}x_{n-1}+\frac{2}{3}y_{n-1} \\ \\ y_n =\frac{2}{3}x_{n-1}+\frac{1}{3}y_{n-1} \end{cases} \end{eqnarray*}

２式を足した式、引いた式をつくる。

    \begin{eqnarray*} \begin{cases} x_n + y_n =1\cdot(x_{n-1} + y_{n-1}) \\ \\ x_n - y_n =-\frac{1}{3}\cdot(x_{n-1}-y_{n-1}) \end{cases} \end{eqnarray*}

１つ目の式（公比1の等比数列）：

    \begin{eqnarray*} x_n + y_n &=&1\cdot(x_{n-1} + y_{n-1}) \\ \\ &=&x_{n-2} + y_{n-2}\\ \\ &=& \cdots \\ \\ &=& x_{0} + y_{0} =1 \end{eqnarray*}

２つ目の式（公比-1/3の等比数列）：

    \begin{eqnarray*} x_n - y_n &=&-\frac{1}{3}\cdot(x_{n-1}-y_{n-1}) \\ \\ &=&\left(-\frac{1}{3}\right)^2 \cdot(x_{n-2}-y_{n-2}) \\ \\ &=& \cdots \\ \\ &=&\left(-\frac{1}{3}\right)^n \cdot(x_{0}-y_{0}) \\ \\ &=&\left(-\frac{1}{3}\right)^n \end{eqnarray*}

したがって、

    \begin{eqnarray*} \begin{cases} x_n + y_n =1 \\ \\ x_n - y_n =\left(-\frac{1}{3}\right)^n \end{cases} \end{eqnarray*}

である。

    \begin{eqnarray*} \begin{cases} x_n = \frac{1}{2}\left[1+\left(-\frac{1}{3}\right)^n\right] \\ \\ y_n = \frac{1}{2}\left[1-\left(-\frac{1}{3}\right)^n\right] \end{cases}\quad \blacksquare \end{eqnarray*}


行列を用いた方法と同じ結果を得る。



4. まとめ

　遷移確率行列を用いて解いてもらっても良い。漸化式を用いて解いてもらっても良い。漸化式のところでは、明らかに遷移確率行列の固有値、固有関数の形が出ている。これは、

基底 \{(x_n,0) \, ,(0,y_n)\} \to 新たな基底 \{(x_n,y_n)\,,(x_n,-y_n)\}

としているようにも見える。例えば、

    \begin{eqnarray*} \left(\begin{array}{cc} x_n + y_n \\ \\ x_n - y_n \end{array}\right) = \left(\begin{array}{cc} 1&0 \\ \\ 0&-\frac{1}{3} \end{array}\right) \left(\begin{array}{cc} x_{n-1} + y_{n-1} \\ \\ x_{n-1} - y_{n-1} \end{array}\right) \end{eqnarray*}

のように書ける。したがって、漸化式で解いた方法も中身は行列の対角化の方法と同じことである。




コメントを残す

メールアドレスが公開されることはありません。