Japanese / English

文献の詳細

言語 日本語
著者 東 大亮
論文名 大規模ニューラルネットワーク学習の分散高速化アルゴリズムに関する研究
年月 2002年3月
要約 階層フィードフォワード型ニューラルネットワークの学習法である誤差逆伝播 (Back Propagation: BP) 学習法を、ワークステーションクラスタ上に効率的に実装する手法を提案する。BPアルゴリズムの並列実装では、2 種類の並列化法(データ並列およびノード並列) を組み合わせることが一般的であるが、この 2 つの並列化法の並列度の組み合わせと問題の規模によって性能が変化することが知られている。本手法では、アルゴリズム中で実行時間が変化し得る部分をモデル化し、それを用いて最も計算時間が短くなるように並列度を自動的に選択する。さらに、各プロセッサの速度に応じて学習サンプルを分配することで、非一様環境にも対応した負荷分散を行なう。
一覧に戻る