| 概要 |
より柔軟な情報処理系の合成を目指して、ニューラルネットに関する工学的研究がますます盛んになっている。工学的立場からの研究において、ニューラルネットの基本要素となる人口ニューロンは、多入力1出力の素子としてモデル化され、生体のニューロンが持つ空間的加算としきい値作用という最も単純な特性のみを取り込んだ形式ニューロンをはじめ、種々の数理モデルが提案されている。 ニューラルネットは、上記のニューロンを多...数結合し、学習能力を有する情報処理回路として機能するように構成されたものであり、Rosenblatt等によるパーセプトロンの提案以来、ニューロンの入出力を決定する回路の非線形特性の拡張や、ニューロン間の結合方法、回路の学習方法についても様々な改良がなされてきた。 階層型ニューラルネットでは、その学習法としてバックプロパゲーション学習やその変形が種々提案され、パターン認識をはじめとする多くの分野の具体的な問題への応用が期待されている。しかしながら、これら階層型ニューラルネットの学習法に関する研究は、回路の構成法、ニューロンの非線形特性の決定方法とも関連して、まだ十分な検討がなされているとはいえない。例えば、ニューラルネットを構成する際、ニューロンの非線形特性をどのように考えるかはニューラルネットの振る舞いを決定する上で今後も重要な課題である。また、学習の効率化を図る上で、学習の収束性を向上させる手法や、学習で得られた解の良否についての検討も重要な課題である。これまで提案、検討されてきたニューラルネットの学習法は、必ずしも最適解に収束する保証はなく、これが局所解に収束した場合、どのようにしてそこから抜け出すか等の工夫も必要である。一方、局所解に収束する危険性の比較的少ない回路形式の検討、さらにその回路形式の制限からくる情報処理能力の低減を補う方法についても十分な検討が必要である。このようなニューラルネットの特性に関する注意深い考察は、ニューラルネットにパターン認識等の様々な情報処理を行わせ、安定した情報処理システムを構築する上で常に必要であり、そこでの基礎的な研究の進展は、ニューラルネットの情報処理回路としての普及に大きな意義を持つものと考えられる。 本論文は、階層型ニューラルネットの学習とその応用に関する研究をまとめたものであり、種々の非線形特性を持つ形式ニューロンに基づく階層型ニューラルネットを提案し、それぞれに対して有効な学習則を与え、更にそれらの画像処理・認識への応用例を述べたものであり、6章から構成されている。 第1章は、序論であり、本論文で扱っている問題の概要と論文の構成について述べる。 第2章では、第3章以下の準備として、いくつかの形式ニューロンと、ニューロンを組み合わせることによって構成されるネットワークのモデルをあげる。さらに、階層型ニューラルネットと、線形識別関数および、区分的線形識別関数との関係について説明する。 第3章では、多値ニューラルネット（Multi-Valued Neural Net；MVNN）を提案し、その学習法を与え、回路の特徴を述べる。MVNNは、パターン空間を複数の平行な超平面で分割することにより、パターンを複数のクラスに分類する特殊な区分的線形識別機械である。本章における学習は、2段階学習－PhaseⅠ学習および、PhaseⅡ学習－である。PhaseⅠ学習は、回路の外的な構造を決定するための学習であり、PhaseⅡ学習は具体的な平面の方向、および位置を決定する学習である。このMVNNを数学パターンの分類等に適用し、その有効性を示す。 第4章では、多しきい値パーセプトロン（Multi-Threshold Perceptron；MTP）を提案し、その学習法を与え、回路の特徴を述べる。MTPはMVNNと同様にパターン空間を複数の平行な超平面によって類別する2分類機として機能するものである。ここで述べるMTPの学習では、学習のためのパラメータとして、2種類のパラメータを導入し、収束を早める工夫を行っている。このMTPを論理関数合成の問題に適用し、その有効性を確かめている。 第5章では、ニューラルネットを用いた画像修復について述べる。画像修復の際、ハフ変換等を適用し、直線や円などの基本的な図形を抽出する場合が多い。また、ハフ変換の処理プロセスは、実際の神経系における処理プロセスと類似性があることが指摘されている。ファジィ・ハフ変換を用いて画像中に存在する点列に任意の曲線を当てはめる際、パラメータ空間に存在する複数の集積点から極大値を求める必要がある。本章では、極大値の検出にニューロンの非線型特性としてラジアル基底関数を用いた階層的ニューラルネットワークを適用し、この極大値を抽出する方法を提案する。この方法を用いて具体的な画像修復を行い、その有効性を示す。 第6章では結論として、本研究で得られた結果を要約するとともに、今後の課題について述べる。
Because of the demand of ability to compose flexible information processing systems, properties of neural networks and their applications are studied enthusiastically in various manners. As for the layered neural network, back-propagation learning and its modifications are very popular as the way of learning, and its application is being expected to solve various problems in many fields such as pattern recognition. However, more studies are still needed for the property of these layered neural network, such as the choice of non-linear characteristics of the neuron, and evaluate the efficiency of learning. This thesis describes studies on layered neural networks and its applications, i.e., some layered neural networks based on neurons with various non-linear characteristic are proposed, and effective learning procedures are given to each of them. Following three points are main results of this thesis. First, a learning procedure of a three layer neural network with limited structure, called a Multi-Valued Neural Network (MVNN), is proposed. This neural network has a single linear neuron in its output layer, and all input weight of hidden neurons are identical. The MVNN takes k+1 distinct values, where k is the number of hidden neurons. The proposed learning procedure consists of two parts, PhaseⅠ and PhaseⅡ. The former is one for the learning of weights between the hidden and output layer, and the latter is the one for those between the input and the hidden layers. The MVNN is applied to classification of numerical patterns, which shows the effectiveness of the proposed learning procedure. Second, an error-correction learning procedure for the Multiple Threshold Perceptron (MTP) is proposed. In the same way as MVNN, the MTP has some numbers of hidden neurons, and all of the hidden neurons have an identical input weight. Thus if it has a single output neuron, it is a 2-class classifier based on partition of input pattern space by some numbers of parallel hyperplanes. Employing the concept of stochastic approximation, two parameters for learning are prepared for effective learning process, where Kiefer-Worfowitz method is especially made use of Experimental results show the effectiveness of the proposed method. Third, a function approximation scheme for image restoration is proposed to resolve conflicting demands for smoothing within each object and differentiation between objects. Images are defined by probability distribution in the argument functional space composed of image value and image planes. According to the fuzzy Hough transform, the probability distribution is assumed to take the robust form and its local maxima are extracted to yield restored images. This statistical scheme is implemented by a feedforward neural network composed of radial basis function neurons and a local winner-takes-all subnetwork. Experimental results show the effectiveness of the proposed neural networks.続きを見る
|
Mendeley出力
