| 概要 |
今日, ニューラルネットワークは関数近似器として様々な分野で盛ん に利用され, 多くの成功を収めている. では, その成功は単なる偶然であろ うか. すなわち, ニューラルネットワークの近似能力に理論的な保証はあ るだろうか. その答えが「ニューラルネットワークの万能近似定理」であ る. この定理は, 適当な設定のもとで, ある関数空間においてニューラルネ ットワークが稠密であることを述べたもの...である. 例えば, ある条件下で, R^rのコンパクト集合上の連続関数をsupノルムの意味で所望の精度で近似 するニューラルネットワークが存在することを主張する. したがって, こ の定理は, 応用で現れるほとんどすべての関数をニューラルネットワーク によって(適当な意味で)近似できる裏付けを与える. よって, これまでの応 用での成功は単なる偶然ではなく, こうしたニューラルネットワークの普 遍的な関数近似能力の賜物であると考えてよいだろう. feedforward型3層 ニューラルネットワークの万能近似定理は1989年にCybenko, Funahashi, Hornikなど複数の研究者により独立に証明された. これらの結果は有界な 活性化関数に対するものだったが, 1993年にはLeshno et al.により非有界 の場合にも成立することが示された. 本論文は, こういったfeedforward型 ニューラルネットワークの万能近似定理や, その近似レートの問題(中間ユ ニット数と近似誤差の関係)について総合的にまとめた解説論文である.続きを見る
|
Mendeley出力
7329795_fulltext