長期記憶のためのSioConvのMLPレイヤーの学習率スケール

## 概要 SioConvのMLPレイヤーの学習率をパラメータ毎に変える ## 背景と目的 長期記憶が勾配逆伝搬により実現可能であるという仮説に基づいて、異なるタイムスケールでの記憶を持つために学習率のスケールを実装したい ## 提案内容 MLPレイヤーをマルチヘッドに分割し、学習率及び重み減衰をヘッド毎に変える ## タスク - [ ] ... ## 参考