<journal article>
Evaluation of Non-linear Optimization Methods for the Learning Algorithm of Artificial Neural Network

Creator
Language
Publisher
Date
Source Title
Vol
Issue
First Page
Last Page
Publication Type
Access Rights
Rights
Related DOI
Related URI
Related HDL
Abstract ニューラルネット(NN)学習に非線形最適化手法を組み込み,更に四つの改良を加えてその高速化への寄与を評価した.はじめにbackpropagation学習法の課題を指摘し,この対策として非線形最適化手法の有効性を述べる.次に各非線形最適化手法をNN学習の観点から考察し,Davies, Swann, Campeyの直線探索法とFletcher-Reeves法による共役こう配法を選択し,これら二つの基本...手法を組み込んだNN学習アルゴリズムを定式化する.更にこの二つの非線形最適化手法をもとに,NN学習に適した四つの改良手法を提案する.提案する改良手法は,(1)直線探索時のforward計葬をメモリの増加と引換えに短縮する方法,(2)直線探索初期の局所最小点へのトラップを避ける方法,(3)並列処理に向いた直線探索方法,(4)こう配方向の切換えによる共役傾斜方法,の4手法である.排他的論理和問題による評価実験を通じて以上の手法の評価を行う.基本的非線形最適化手法はもちろんのこと,本論文で提案する四つの改良手法がいずれも高速化に有用であることを示す.show more

Hide fulltext details.

pdf Journal04 pdf 2.26 MB 530  

Details

PISSN
NCID
Record ID
Related URI
Subject Terms
Type
Created Date 2021.04.15
Modified Date 2021.04.15

People who viewed this item also viewed