モデルアーキテクチャの発展の流れ

# 概要 好奇心ベースの自律機械知能のモデルアーキテクチャを原始的な部分からまとめます。 # モデル理論 ## 1. プリミティブな好奇心フレームワーク 好奇心ベースのエージェントでは、世界モデル（予測器）の予測誤差を最大化するように行動を選択することで、未知の状態や興味深い結果を探索します。このメカニズムを定式化すると、以下のようになります。 状態 $s_t$、行動 $a_t$、次の状態 $s_{t+1}$ について考えます。パラメータ $\theta$ を持つ予測器を $f_\theta$ とし、その出力する次の状態の分布を $p_f(\cdot|s_t, a_t)$ とします： $$ p_f \leftarrow f_\theta(s_t, a_t) $$$$ I_{t+1} = -\log p_f(s_{t+1}|s_t, a_t) $$ ここで $I_{t+1}$ は予測誤差（自己情報量または「驚き」）を表します。 一方、パラメータ $\phi$ を持つ行動生成器（方策）を $\pi_\phi$ とし、その出力する行動の分布を $p_\pi(\cdot|s_t)$ とすると： $$ p_\pi(\cdot|s_t) \leftarrow \pi_\phi(s_t) $$$$ a_t \sim p_\pi(\cdot|s_t) $$ となります。 このとき、予測器と行動生成器の学習目標は以下のように定義されます： $$ \phi \leftarrow \arg\max_\phi I $$$$ \theta \leftarrow \arg\min_\theta I $$ この「ゼロサム的な敵対的学習関係」が好奇心ベースのエージェントの核心です。予測器は誤差を最小化しようとし、行動生成器はその予測を困難にするような状態を生み出そうとします。 **NOTE**: 状態 $s_t$ としていますが、実際にこのプリミティブなフレームワークを用いる際は、状態を単に 観測 $o_t$ として扱ったり、いくつかの観測をスタックして状態 $s_t$ に近似して扱ったりします。 ## 2. 時系列データへの拡張 実世界では、システムの完全な状態 $s$ を直接観測できないことが多く、代わりに観測 $o_t$ のみが得られます。そこで、予測器 $f_\theta$ に隠れ状態 $h^{(f)}_t$ を持たせ、時間的文脈を扱えるようにします: $$ p_f, h^{(f)}_t \leftarrow f_\theta(o_t, a_t, h^{(f)}_{t-1}) $$ $$ I = -\log p_f(o_{t+1}|o_t, a_t, h^{(f)}_{t-1}) $$ 同様に、方策 $\pi_\phi$ も隠れ状態 $h^{(\pi)}_t$ を持つように拡張します： $$ p_\pi, h^{(\pi)}_t \leftarrow \pi_\phi(o_t, h^{(\pi)}_{t-1}) $$