自己回帰移動平均モデル
自己回帰移動平均モデル（じこかいきいどうへいきんモデル、英: autoregressive moving average model、ARMAモデル）は、統計学において時系列データに適用されるモデルである。George Box と G. M. Jenkins の名をとって "ボックス・ジェンキンスモデル" とも呼ばれる。
時系列データ Xt について、ARMAモデルはその将来の値を予測するためのツールとして機能する。モデルは自己回帰(AR)部分と移動平均(MA)部分からなる。一般に ARMA(p,q)モデルと表記され、p は自己回帰部分の次数、q は移動平均部分の次数を表す（定義は後述）。
目次
1 自己回帰モデル
1.1 例: AR(1)過程
1.2 ARパラメータの計算
1.2.1 導出
2 移動平均モデル
3 自己回帰移動平均モデル
4 誤差項
5 ラグ（遅れ）作用素を使った記法
6 実データへの適用
7 一般化
8 関連項目
9 参考文献
自己回帰モデル
AR(p) という表記は次数 p の自己回帰モデルを表す。AR(p)モデルは次の式で表される。
Xt=c+∑i=1pφiXt−i+εt.{displaystyle X_{t}=c+sum _{i=1}^{p}varphi _{i}X_{t-i}+varepsilon _{t}.,}
ここでφ1,…,φp{displaystyle varphi _{1},ldots ,varphi _{p}}はモデルのパラメータ、c{displaystyle c} は定数項、εt{displaystyle varepsilon _{t}} は誤差項（後述）である。定数項は単純化するために省かれることが多い。
自己回帰モデルは基本的に無限インパルス応答フィルタに一種の変形を加えたものである。
モデルとして定常的であるために、パラメータの値には何らかの制約が必要である。例えば、|φ1| > 1 となる AR(1)モデルは定常的ではない。
例: AR(1)過程
AR(1)過程は次の式で表される。
Xt=c+φXt−1+εt,{displaystyle X_{t}=c+varphi X_{t-1}+varepsilon _{t},,}
ここで、εt{displaystyle varepsilon _{t}} は、σ2{displaystyle sigma ^{2}}の分散に従うホワイトノイズである（φ1{displaystyle varphi _{1}} のような添え字は省いてある）。この過程は |φ|<1{displaystyle |varphi |<1} であれば、共分散定常性を有する。φ=1{displaystyle varphi =1} であれば、Xt{displaystyle X_{t}} は単位根を表し、ランダムウォークと見なされ、共分散定常性を有しない。そうでない場合、Xt{displaystyle X_{t}} の期待値の計算は単純である。ここで共分散定常性を以下のように定式化する。
E(Xt)=E(c)+φE(Xt−1)+E(εt)⇒μ=c+φμ+0.{displaystyle {mbox{E}}(X_{t})={mbox{E}}(c)+varphi {mbox{E}}(X_{t-1})+{mbox{E}}(varepsilon _{t})Rightarrow mu =c+varphi mu +0.}
従って、次のようになる。
μ=c1−φ,{displaystyle mu ={frac {c}{1-varphi }},}
ここで μ{displaystyle mu } は平均である。c = 0 なら、平均も 0 になり、分散は次のようになる。
var(Xt)=E(Xt2)−μ2=σ21−φ2.{displaystyle {textrm {var}}(X_{t})=E(X_{t}^{2})-mu ^{2}={frac {sigma ^{2}}{1-varphi ^{2}}}.}
自己共分散は次の式で表される。
Bn=E(Xt+nXt)−μ2=σ21−φ2φ|n|.{displaystyle B_{n}=E(X_{t+n}X_{t})-mu ^{2}={frac {sigma ^{2}}{1-varphi ^{2}}},,varphi ^{|n|}.}
この自己共分散関数は減衰時間 τ=−1/ln(φ){displaystyle tau =-1/ln(varphi )} で減衰する（これを確かめるには、Bn=Kϕ|n|{displaystyle B_{n}=Kphi ^{|n|}} で K{displaystyle K} が n{displaystyle n} に独立な場合を考えればよい。ϕ|n|=e|n|lnϕ{displaystyle phi ^{|n|}=e^{|n|ln phi }} であり、指数関数的減衰の法則 e−n/τ{displaystyle e^{-n/tau }} に適合することに注意されたい）。スペクトル密度関数は自己共分散関数の逆フーリエ変換である。離散系では、離散時間逆フーリエ変換が適用される。
Φ(ω)=12π∑n=−∞∞Bne−iωn=12π(σ21+φ2−2φcos(ω)).{displaystyle Phi (omega )={frac {1}{sqrt {2pi }}},sum _{n=-infty }^{infty }B_{n}e^{-iomega n}={frac {1}{sqrt {2pi }}},left({frac {sigma ^{2}}{1+varphi ^{2}-2varphi cos(omega )}}right).}
Xj{displaystyle X_{j}} が離散的であるため、この式の分母にあるコサインの項が折り返し雑音（エイリアス）を表している。標本化間隔(Δt=1{displaystyle Delta t=1})が減衰時間(τ{displaystyle tau })より十分に小さいと仮定すると、Bn{displaystyle B_{n}} に連続体近似を適用できる。
B(t)≈σ21−φ2φ|t|{displaystyle B(t)approx {frac {sigma ^{2}}{1-varphi ^{2}}},,varphi ^{|t|}}
この場合、スペクトル密度はローレンツ分布に従う。
Φ(ω)==12πσ21−φ2γπ(γ2+ω2){displaystyle Phi (omega )=={frac {1}{sqrt {2pi }}},{frac {sigma ^{2}}{1-varphi ^{2}}},{frac {gamma }{pi (gamma ^{2}+omega ^{2})}}}
ここで γ=1/τ{displaystyle gamma =1/tau } は減衰時間 τ{displaystyle tau } に関する角周波数である。
Xt{displaystyle X_{t}} の別の表現方法として、最初の式で Xt−1{displaystyle X_{t-1}} を c+φXt−2+εt−1{displaystyle c+varphi X_{t-2}+varepsilon _{t-1}} に置き換える方法がある。これを再帰的に N回繰り返すと次の式になる。
Xt=c∑k=0N−1φk+φNXφ−N+∑k=0N−1φkεt−k.{displaystyle X_{t}=csum _{k=0}^{N-1}varphi ^{k}+varphi ^{N}X_{varphi -N}+sum _{k=0}^{N-1}varphi ^{k}varepsilon _{t-k}.}
N が無限大に近づくと、φN{displaystyle varphi ^{N}} はゼロに近づき、最終的に次の式が得られる。
Xt=c1−φ+∑k=0∞φkεt−k{displaystyle X_{t}={frac {c}{1-varphi }}+sum _{k=0}^{infty }varphi ^{k}varepsilon _{t-k}}
ARパラメータの計算
AR(p)モデルは次の方程式で与えられる。
Xt=∑i=1pφiXt−i+εt.{displaystyle X_{t}=sum _{i=1}^{p}varphi _{i}X_{t-i}+varepsilon _{t}.,}
これはパラメータ φi{displaystyle varphi _{i}}（i = 1, ..., p）に基づいている。これらパラメータは以下の Yule-Walker方程式で計算できる可能性がある。
γm=∑k=1pφkγm−k+σε2δm{displaystyle gamma _{m}=sum _{k=1}^{p}varphi _{k}gamma _{m-k}+sigma _{varepsilon }^{2}delta _{m}}
ここで m = 0, ... , p であり、p + 1 個の方程式となる。γm{displaystyle gamma _{m}} は X の自己共分散関数、σε{displaystyle sigma _{varepsilon }} は入力ノイズ過程の標準偏差、δm はクロネッカーのデルタである。
この式の最後の部分は m = 0 のときだけ 0 でない値となるので、この方程式は一般に m > 0 のときの行列式で表すことで解ける。
[γ1γ2γ3⋮]=[γ0γ−1γ−2…γ1γ0γ−1…γ2γ1γ0……………][φ1φ2φ3⋮]{displaystyle {begin{bmatrix}gamma _{1}\gamma _{2}\gamma _{3}\vdots \end{bmatrix}}={begin{bmatrix}gamma _{0}&gamma _{-1}&gamma _{-2}&dots \gamma _{1}&gamma _{0}&gamma _{-1}&dots \gamma _{2}&gamma _{1}&gamma _{0}&dots \dots &dots &dots &dots \end{bmatrix}}{begin{bmatrix}varphi _{1}\varphi _{2}\varphi _{3}\vdots \end{bmatrix}}}
これにより φ{displaystyle varphi } が全て求められる。また、m = 0 のときは次のようになる。
γ0=∑k=1pφkγ−k+σε2{displaystyle gamma _{0}=sum _{k=1}^{p}varphi _{k}gamma _{-k}+sigma _{varepsilon }^{2}}
これにより σε2{displaystyle sigma _{varepsilon }^{2}} が求められる。
導出
AR過程を定義する方程式は次の通りである。
Xt=∑i=1pφiXt−i+εt.{displaystyle X_{t}=sum _{i=1}^{p}varphi _{i},X_{t-i}+varepsilon _{t}.,}
両辺に Xt-m をかけて、期待値を求めるとしたとき、次のようになる。
E[XtXt−m]=E[∑i=1pφiXt−iXt−m]+E[εtXt−m].{displaystyle E[X_{t}X_{t-m}]=Eleft[sum _{i=1}^{p}varphi _{i},X_{t-i}X_{t-m}right]+E[varepsilon _{t}X_{t-m}].}
![E[X_t X_{t-m}] = Eleft[sum_{i=1}^p varphi_i,X_{t-i} X_{t-m}right]+ E[varepsilon_t X_{t-m}].](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0824e2d072b36aae0431637988b5efdb598d42d)
自己共分散関数の定義から、E[XtXt−m]=γm{displaystyle E[X_{t}X_{t-m}]=gamma _{m}} である。ノイズ関数の値は互いに独立であり、ゼロより大きい m について Xt − m は εt に独立である。m ≠ 0 の場合、E[εtXt−m]=0{displaystyle E[varepsilon _{t}X_{t-m}]=0} となる。m = 0 の場合、次のようになる。
![E[X_t X_{t-m}] =gamma_m](https://wikimedia.org/api/rest_v1/media/math/render/svg/a83cae7a52be28db9730b476daa590d1f54aa92b)
![E[varepsilon_t X_{t-m}] = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/f3e0881b9b1ff67030ad51141404f301e8e4fb45)
E[εtXt]=E[εt(∑i=1pφiXt−i+εt)]=∑i=1pφiE[εtXt−i]+E[εt2]=0+σε2,{displaystyle E[varepsilon _{t}X_{t}]=Eleft[varepsilon _{t}(sum _{i=1}^{p}varphi _{i},X_{t-i}+varepsilon _{t})right]=sum _{i=1}^{p}varphi _{i},E[varepsilon _{t},X_{t-i}]+E[varepsilon _{t}^{2}]=0+sigma _{varepsilon }^{2},}
![E[varepsilon_t X_{t}] <br />
= Eleft[varepsilon_t (sum_{i=1}^p varphi_i,X_{t-i}+ varepsilon_t)right]<br />
= sum_{i=1}^p varphi_i, E[varepsilon_t,X_{t-i}] + E[varepsilon_t^2]<br />
= 0 + sigma_varepsilon^2,<br />](https://wikimedia.org/api/rest_v1/media/math/render/svg/395aab62bda98aad7198afda1e1f47b407e87325)
従って、次が得られる。
γm=E[∑i=1pφiXt−iXt−m]+σε2δm.{displaystyle gamma _{m}=Eleft[sum _{i=1}^{p}varphi _{i},X_{t-i}X_{t-m}right]+sigma _{varepsilon }^{2}delta _{m}.}
![gamma_m = Eleft[sum_{i=1}^p varphi_i,X_{t-i} X_{t-m}right] + sigma_varepsilon^2 delta_m.](https://wikimedia.org/api/rest_v1/media/math/render/svg/6bbd0638b2d0cf352d9aa0f73bd755f4967f71ad)
さらに
E[∑i=1pφiXt−iXt−m]=∑i=1pφiE[XtXt−m+i]=∑i=1pφiγm−i,{displaystyle Eleft[sum _{i=1}^{p}varphi _{i},X_{t-i}X_{t-m}right]=sum _{i=1}^{p}varphi _{i},E[X_{t}X_{t-m+i}]=sum _{i=1}^{p}varphi _{i},gamma _{m-i},}
![Eleft[sum_{i=1}^p varphi_i,X_{t-i} X_{t-m}right]<br />
= sum_{i=1}^p varphi_i,E[X_{t} X_{t-m+i}]<br />
= sum_{i=1}^p varphi_i,gamma_{m-i},<br />](https://wikimedia.org/api/rest_v1/media/math/render/svg/ee3e9767b458cf0551a71c2996f5adbfcd9f9cde)
これにより次の Yule-Walker方程式が導かれる。
γm=∑i=1pφiγm−i+σε2δm.{displaystyle gamma _{m}=sum _{i=1}^{p}varphi _{i}gamma _{m-i}+sigma _{varepsilon }^{2}delta _{m}.}
移動平均モデル
MA(q)という表記は、次数 q の移動平均モデルを表す。以下の数式で表される。
Xt=εt+∑i=1qθiεt−i{displaystyle X_{t}=varepsilon _{t}+sum _{i=1}^{q}theta _{i}varepsilon _{t-i},}
ここで θ1, ..., θq はモデルのパラメータ、εt, εt-1,... は誤差項である。移動平均モデルも無限インパルス応答フィルタに一種の変形を加えたものである。
自己回帰移動平均モデル
ARMA(p, q)という表記は、p次の自己回帰とq次の移動平均を組合わせたモデルを指す。以下の数式で表される。
Xt=εt+∑i=1pφiXt−i+∑i=1qθiεt−i.{displaystyle X_{t}=varepsilon _{t}+sum _{i=1}^{p}varphi _{i}X_{t-i}+sum _{i=1}^{q}theta _{i}varepsilon _{t-i}.,}
誤差項
誤差項 εt は一般に「独立かつ同一の分布に従う」(i.i.d.)無作為変数であり、ゼロを平均値とする正規分布に従う。すなわち εt ~ N(0,σ2) で、σ2 は分散である。このような仮定を弱めることもあるが、そうするとモデルとしての性質が変化する。特に、i.i.d. という仮定を変更すると根本的な性質が変化する。
ラグ（遅れ）作用素を使った記法
ARMAモデルをラグ作用素（遅れ作用素） L を使って表す場合もある。この場合、AR(p)モデルは次のように表される。
εt=(1−∑i=1pφiLi)Xt=φXt{displaystyle varepsilon _{t}=left(1-sum _{i=1}^{p}varphi _{i}L^{i}right)X_{t}=varphi X_{t},}
ここで、φ は次の多項式で表される。
φ=1−∑i=1pφiLi.{displaystyle varphi =1-sum _{i=1}^{p}varphi _{i}L^{i}.,}
また、MA(q)モデルは次のように表される。
Xt=(1+∑i=1qθiLi)εt=θεt{displaystyle X_{t}=left(1+sum _{i=1}^{q}theta _{i}L^{i}right)varepsilon _{t}=theta varepsilon _{t},}
ここで θ は次の多項式で表される。
θ=1+∑i=1qθiLi.{displaystyle theta =1+sum _{i=1}^{q}theta _{i}L^{i}.,}
以上から、ARMA(p, q)モデルは次のように表される。
(1−∑i=1pφiLi)Xt=(1+∑i=1qθiLi)εt{displaystyle left(1-sum _{i=1}^{p}varphi _{i}L^{i}right)X_{t}=left(1+sum _{i=1}^{q}theta _{i}L^{i}right)varepsilon _{t},}
あるいは、もっと簡潔に記せば、次のようになる。
φXt=θεt.{displaystyle varphi X_{t}=theta varepsilon _{t}.,}
ラグ作用素とは、時系列データのある時点のデータで他の時点のデータを表すように係数化したもの。上記の式はいずれも Xt しか出現しない（他の時点のデータが出てこない）ことに注意されたい。他の時点のデータは全てラグ作用素によって表されている。
実データへの適用
実データに適用する場合、ARMAモデルの p と q を選択後、誤差項を最小化するパラメータを探るため最小二乗法を使うのが普通である。また、実データに適合する最小の p および q を見つけることでよい結果が得られることが知られている。純粋なARモデルでは、これに Yule-Walker 方程式を利用することができる。
一般化
Xt の過去の値や誤差項 εt との依存関係は特に何かが判明するまで線形な関係であると見なすのが普通である。依存関係が非線形である場合、このモデルを「非線形移動平均」(NMA)、「非線形自己回帰」(NAR)、「非線型自己回帰移動平均」(NARMA)モデルと呼ぶ。
自己回帰移動平均モデルは他の方法でも一般化される。例えば、ARCH（自己回帰条件付き分散変動）モデルやARIMA（自己回帰和分移動平均）モデルがある。複数の時系列を扱うベクトルARIMAモデルもある。データに季節変動効果がある場合、SARIMA（季節ARIMA）モデルでモデル化される。
その他の一般化として、「多変量自己回帰」(MAR)モデルがある。
関連項目
- 自己回帰和分移動平均モデル
- 予測分析
- 放射基底関数
参考文献
- George Box and Gwilym M. Jenkins. Time Series Analysis: Forecasting and Control, second edition. Oakland, CA: Holden-Day, 1976.
- Mills, Terence C. Time Series Techniques for Economists. Cambridge University Press, 1990.
- Percival, Donald B. and Andrew T. Walden. Spectral Analysis for Physical Applications. Cambridge University Press, 1993.
- Yoshitsugu Hayashi,Hiroshi Ohkama,Yoshitaka Fujiwara. An Estimation Method of Auto-Regressive Parameters with Time-varying Cost. Faculty of Enginnering, Kitami Institute of Technology, 1997.
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
