ニューラルネットワークとは、人間の脳の仕組みをまねた情報処理機構です。
人間の脳はコンピュータでは実現が困難な処理でさえ容易に達成する優れた能力を持っています。現在私たちが使っているコンピュータはノイマン型と呼ばれ、演算速度が非常に速く、定式化された問題などを解く場合には抜群の威力を発揮しますが、人間が普段行っているパターン認識などの問題を解く場合、問題の定式化が難しく、実装するのが非常に困難となります。そこで、人間の脳内の情報処理機構をヒントにして、人間の基本機能である認識や記憶、判断といった処理をコンピュータ上で実現させるため、ニューラルネットワークが誕生しました。
ニューラルネットワークの仕組み
ニューラルネットワークは脳内の情報処理機構を単純化した構造を持っています。
人間の脳内には約１４０億個もの神経細胞が存在しており、それら神経細胞は互いに結び付いています。各神経細胞は他の細胞から入力信号を受け、その入力信号の和がある値を超えた場合に他の細胞へ出力信号を送り出すという働きを持っています。この細胞間の情報の伝播が、人間が普段行っている認識や記憶、判断といった処理を可能としています。
脳内の情報処理の最大の特徴は、単純な機能しか持たない細胞が多数集ま ることにより、全体として複雑で高度な処理を実現しているという点にあり、 ニューラルネットワークはこの利点を生かした仕組みとなっています。具体的には、脳内の神経細胞を「ニューロン」と呼ばれる素子としてモデル化し、多数のニューロンを配置・結合することによりネットワークを構築します。実際に応用する場合は、適用する問題に合わせて、各ニューロンのパラメータを変化（学習）させることで、種々の問題に対応することができます。
ニューラルネットワークの特徴
ニューラルネットワークの特徴を挙げると以下のようになります。
- 学習能力 … 提示される入出力サンプルに基づいて必要な機能を自動形成することができる。
- 非線形性 … 学習により、定式化が困難な複雑な写像関係でさえ容易に構築することができる。
- 並列処理 … 入力された信号は結合を通して様々なニューロンへと送られ、並列的に処理されていく。
このような特徴を生かし、実際に脳が行う高度で複雑な機能を実現するための研究を行っています。
この分野は神経生理学、認知心理学、情報幾何学など多くの学問分野に関わる学際的研究分野として位置付けられており、様々な観点から研究が行われています。大町研究室ニューラルネットワーク研究グループでは、主に２つのアプローチから研究に取り組んでいます。
脳の物理的な解明を目指した研究です。人間の脳内には未だ解明されていない領域が多く存在しています。そこで、現在解明されている事実から、脳内の情報処理を説明するモデルを構築し、脳内の未知領域の解明、及び脳内の情報処理機構に基づいた新たな情報処理技術の開発を目指しています。
ニューラルネットワークの工学的応用や性能向上に関する研究です。具体的には、パターン認識、時系列予測、システム制御などの工学的システムへのニューラルネットワークの応用や、ニューラルネットワークの非線形的な振る舞いに関する研究などを行っています。
人間の脳の高次機能を解明するにあたり、比較的良く解明されている視覚系を対象とし、その情報処理過程を明らかにする研究を行っています。
目から入力された光情報に対して始めに行われる処理が物体の輪郭線の検出です。脳内においては一次視覚野と呼ばれる領域がこの処理を担当しており、この領域は輪郭を縦・横・斜めのように方向ごとに分けて（方位に選択的に）検出しています。しかし、この一次視覚野の方位選択性という性質は、私たちが生まれて間もない頃にはまだ形成されておらず、成長過程において視覚により外界の様々な情報を取り入れていく中で形成されていくということが、生理学的な実験により確認されています。
本研究では、一次視覚野における方位選択性の形成過程を説明するモデルの構築を目的としました。提案したモデルでは非線形特性を持つニューロンを構成の基礎として、入力される視覚刺激（画像）により各ニューロンが学習していくことで、方位選択性が形成されていきます。
下図は、実際に一次視覚野で観測された方位選択性（左）と、モデルによって形成された方位選択性（右）です。図において色の違いが方位の違いを表しています。
ネオコグニトロンとは階層型ニューラルネットワーク構造を持つ代表的なパターン認識システムです。このシステムでは入力パターンの特徴を抽出する層が複数並んでいます。そして、各層でパターンの特徴を小領域ごとに抽出し、各層で抽出された特徴を統合して判断することで、認識を行っています。
ネオコグニトロンの最大の特徴は１つのパターンを学習するだけで変形や位置ずれのある入力パターンに対しても高い精度で認識することができるという点です。しかし、従来型のネオコグニトロンでは、入力パターンが大きな変形や回転をしている場合、その高い認識能力を維持することはできませんでした。
本研究では、ネオコグニトロンのパターン変形に対する認識能力の頑健性をパターンの回転に対しても適用し、回転対応型ネオコグニトロンを提案しました。回転対応型ネオコグニトロンでは正立したパターンを学習するだけで、任意の角度に回転させたパターンの認識を行うことに成功しました。
人間は、視点を様々な物体へと移動させ、個々の物体を認識することで、外界を把握しています。その際、物体の一部しか見えていない場合であっても、物体全体が視界内に含まれるように、視点を適切な位置へと移動させています。これは、脳内において、物体の位置の推定処理（仮定）と物体の認識処理（検証）が繰り返されることで実現されていると考えられています。
本研究では、この仮定と検証のプロセスを繰り返すことで、視界の範囲が限られた条件下でも正確に認識を行うモデルを構築しました。モデルにおいては、まず、与えられた視界内において、パターンの全体像を推定し、パターンの中心位置が存在するであろう方向へと視点を移動させます。そして、視点移動後の視界内で認識を行い、再びパターンの位置の推定及び視点の移動を繰り返していきます。これにより、下図のようにパターンが部分的にしか見えていない場合であっても、正確な認識が可能となります。
神経細胞は他の細胞から入力信号を受け、信号の和がある閾値を超えた場合、他の細胞へと出力信号を送り出します。この閾値を超えて信号を出力することを「発火」と呼び、発火状態にある細胞は周期的に他の細胞へとパルス信号を送り続けています。神経生理学では、この細胞の発火の周期性が情報の統合に利用されていると考えられており、同種の特徴に対して発火した細胞群の発火タイミングが同期化されている事実が生理学的な実験により確認されています。
本研究では、パルス結合型ニューロンという発火の周期性を考慮したニューロンを用いることで、図形分離を行うモデルの構築を目的としました。提案するモデルでは、まず各ニューロンが視覚刺激中の輪郭特徴を検出し、同じ図形の輪郭を検出するニューロン間では、発火タイミングの同期化が行われます。最終的には、各細胞の発火タイミングが揃うことによって、図形ごとの検出が行われます。
下図は提案するモデルにより、同じ図形の輪郭を検出するニューロン間で発火タイミングが揃えられていく様子です。グラフにおいて、赤線が円の輪郭、青線が線分の輪郭を検出した細胞の発火の様子です。
パターン認識、時系列予測、システム制御などの問題へのニューラルネットワークの適用、及びニューラルネットワークの基本的性能の向上を目指した研究を行っています。
ニューラルネットワークの持つ処理の並列性、情報のパターン的表現という特性を生かした柔軟な知識情報処理システムについて検討しています。現在適用システムとして自然言語処理を考えており、ニューラルネットワークによる言語知識の獲得、表現法について検討しています。
ニューラルネットワークでは望むべき入出力関係を構築するためにニューロン間の結合の重みを学習する必要があり、順方向性ニューラルネットワークにおいては誤差逆伝播法という学習法が代表的手法として知られています。しかし誤差逆伝播法には次のような問題がありました。
- 繰り返し学習を行うため、学習時間に膨大な時間を要する。
- ネットワークの層数、中間素子数を試行錯誤的に決定しなければいけない。
- 学習によって必ずしも誤差最小点に達するとは限らない。
本研究では、このような問題の解決を目的として、下図のような多層構造のネットワークモデルを構築しました。提案したモデルはファジィ情報処理と呼ばれる機能を持っています。モデルの特徴をまとめると次のようになります。
- 学習によってネットワーク構造（中間層のニューロン数）が自動的に決定される。
- 従来法に比べ非常に高速な学習が可能である（学習回数は２回のみ）。
- 学習の収束が必要とされておらず、追加学習が容易である。
さらに、上記の機能を有することを実際の数値実験により確認しました。
パターン認識においては、特徴量の分布を正規分布で表現することでパターン識別に必要な境界を求めるという手法が一般的となっています。正規分布で記述される識別境界は、特徴量が２次元の場合は楕円形状となり、右図のクラスＣ1、Ｃ２のような特徴量分布の場合は容易に識別境界を決定することができます。しかし、クラスＣ３のように複雑な分布形状を持つクラスについては正確に識別境界を決定することができず、誤認識を招く要因となります。
本研究では、モジュール型ニューラルネットワーク、RBF出力関数、非線形変換の３つの手法を組み合わせた階層型ニューラルネットワークを構築することで、問題の解決を試みました。
下図は構築したネットワークから得られた結果です。入力データ（１）に対して非線形変換及びRBF出力関数を適用することで、中間層において特徴量分布は正規分布に近似されます（２）。 これにより、中間層においては正規分布として容易に識別境界を決定することができ（３）、複雑な形状の分布に対しても正確な識別境界を求めることが出来ました（４）。 また、一般に、入力に非線形変換を適用した場合、学習が収束しなくなるという問題が生じるのですが、モジュール型ニューラルネットワークを導入することにより高速な学習が実現されています。
