以前のエントリーで書いたバックプロパゲーションの入力に正規分布のノイズを乗せた場合、般化能力が高まるのでは、という件、試してみたらやっぱり良い結果が出た。ノイズを乗せると過学習を防いでくれる。
ただ、ノイズの大きさは大き過ぎても良くなくて、入力データに合わせて調節してやる必要があった。
で、論文検索してみたら、やっぱずっと昔(96年)には既に論文がでてますた。
CiNii - 多層パーセプトロンの学習における中間層に付加したノイズの影響とネットワークの構造化
まんまですね。
この論文で、中間層にもノイズ乗せると、不要なニューロンが淘汰されていき、必要な中間層のニューロン数が決定できそうなことが書いてあり、これが自分としては新たな知見で参考になった。
というか、この論文ではそっちが主題なんですね。
…というのがあって前記のfannKernelに手を入れたい、というのにつながるのでした。
