モーグルとカバとパウダーの日記

モーグルやカバ(EXカービング)山スキー(BC)などがメインの日記でした。今は仕事のコンピュータ系のネタが主になっています。以前はスパム対策関連が多かったのですが最近はディープラーニング関連が多めです。

neuro

長野ディープラーニング同好会 #10

ディープラーニング同好会10回め開催しました。 長野ディープラーニング同好会 #10 第9回の続きで、学習の概念は説明したけども、じゃあ実際の実装はどうやってるの?というのを実際に実装してもらって確認しました。 一応、パーセプトロンの主要部分となる…

長野ディープラーニング同好会 #9

ディープラーニング同好会9回め開催しました。 長野ディープラーニング同好会 #9 第8回に引き続きで、ニューラルネット、ディープラーニングそのものについての解説ということでバックプロパゲーションとはなにをしているものなのか、を説明しました。 バッ…

長野ディープラーニング同好会 #8

ちなみにもう年明けてしまって、1/7になってこのエントリ書いてます。 ディープラーニング同好会8回め開催しました。 長野ディープラーニング同好会 #8 第7回に引き続きで来ていただいた方が多く、ニューラルネット、ディープラーニングそのものについての解…

長野ディープラーニング同好会 #7

ディープラーニング同好会7回め開催しました。 長野ディープラーニング同好会 #7 https://nseg.connpass.com/event/111342/ 今回は結構人数が多く6人で、今回はじめて参加された方が3人いらしたので、Colabの使い方とか簡単なネットワークの書き方とかのおさ…

長野ディープラーニング同好会 #6

ディープラーニング同好会6回め開催しました。長野ディープラーニング同好会 #6 - connpass https://nseg.connpass.com/event/109608/ 今回は初参加の方EijiUnoharaさんがいらしたのですが、ご自分でVGG使った転移学習で猫認識とかされてたりして、色々と参…

長野ディープラーニング同好会 #5

ディープラーニング同好会5回め開催しました。長野ディープラーニング同好会 #5 - connpass 今回は、自分が告知するのがだいぶ遅かったため、人が集まらずに2人だけでやりました。 前回の続きで、CNNで大きく位置ずれやサイズの違いがあった場合にどうやれば…

長野ディープラーニング同好会 #4

ディープラーニング同好会4回め開催しました。長野ディープラーニング同好会 #4 - connpass やっと色々試してみれる状況になったので、前に質問の出ていた、CNNで大きく位置ずれやサイズの違いがあった場合でも認識できるのか、認識できないならどうやればで…

長野ディープラーニング同好会 #3

ディープラーニング同好会3回め開催しました。長野ディープラーニング同好会 #3 - connpass 今回参加者が最終的に6名になったのですが、初参加の方が3人いらしたので、前回、前々回でやったGoogle Colab使うところからはじめて、ざっとパーセプトロン、バッ…

Google ColabでKerasからTPUを使う方法とGPUとの速度差

必要なことまとめ ランタイムで「TPU」を選択する kerasではなくtensorflow.kerasを使う modelをTPU用のモデルに変換する TPUモデルではpredictができないので確認はCPUモデルに戻して行う Google ColabでTPU使うのは、こちらの記事が詳しいです。自分もこち…

長野ディープラーニング同好会 #2

ディープラーニング同好会2回め開催しました。長野ディープラーニング同好会 #2 - connpass Google Colab使ってMNIST(数字認識)させるのの続きということで、前回はバックプロパゲーションを3層とか4層でやったのですが、今回はCNNで行いました。以前やった…

長野ディープラーニング同好会 #1

平日夜隔週でGEEKLAB長野さんとこで、ディープラーニングについての勉強会をやることになりました。 ただ、「勉強会」というよりもうちょっとゆるくしたかったので「同好会」としてみました。 長野ディープラーニング同好会 #1 - connpass プレ回みたいなの…

「みんなのPython勉強会 in 長野」で発表した「ディープラーニングハンズオンを準備して学んだこと」のスライド

もう2ヶ月も前になるんですが(これを書いてるのは2017/5/18) みんなのPython勉強会 in 長野 #1 - connpass https://startpython.connpass.com/event/48846/ で発表させていただいたスライドを公開しておきます。 ディープラーニングハンズオンを準備して…

なぜCNNではAutoEncoder使わなくても学習が収束するのか

7月のGCPUG信州の発表資料をやっと公開したので、そこで質問が出てた、CNNがなんでAutoEncoder使わなくても学習が収束するのかの話でつらつら考えてたことを、今さら書いてみます。 その時はCNNはネオコグニトロンの子孫でネオコグニトロンは自己組織化する…

Dropoutが効果的な理由についての疑問

現在のDeep Neural Networkがうまく収束できるようになっていることにはDropoutの効果が大きいと言われている。Dropoutはニューラルネットで中間層などの入力を50%の確率で落としてやることで、非常に強い正規化が行われるというものだ。 なぜDropoutが効果…

GCPUG信州キックオフ勉強会で『GCEをTensorFlowの「計算エンジン」にする』という発表をしました

※発表したのは7/23なのですが、このエントリ書いたのは10/12です。早く書かねば、と思いながらもう秋になってしまいましたとさ… GCPUG信州キックオフ勉強会で『GCEをTensorFlowの「計算エンジン」にする』という発表をしました。 当初はTensorFlowメインの発…

ニューロンになってみる

LIGさん主催の勉強会「づや会」の機械学習の回で『ニューロンになってみる』という題でLTをさせていただきました。 づや会 vol5 「機械学習の話」 - connpass http://lig.connpass.com/event/30420/ ニューロンになってみる from Kiyoshi SATOH ニューロンに…

「共感覚」と脳の並列処理の結果がそのままイメージに出てくる人たち

小町で、夫の暗算がすごいのは答えが画像として勝手に見えてくるから、というトピックがあった。 で、同じように「勝手に」答えが浮かび上がってくる、という人たちがコメントを付けていた。暗算。数字が色と模様で頭に浮かぶという夫 : 趣味・教育・教養 : …

BPの入力に正規分布ノイズを乗せることのメリット

以前のエントリーで書いたバックプロパゲーションの入力に正規分布のノイズを乗せた場合、般化能力が高まるのでは、という件、試してみたらやっぱり良い結果が出た。ノイズを乗せると過学習を防いでくれる。 ただ、ノイズの大きさは大き過ぎても良くなくて、…

Windows環境でのfannExplorerのビルド手引き

最近、ニューラルネットワーク使って認識させる実験していて、お手軽にいろいろ試せる環境として、ブラウザ上からネットワーク構成作ってテストできるfannExplorerというツールを使っていました。 これはFast Artificial Neural Network Library (FANN)とい…

バックプロパゲーションの限界

最近、ニューラルネットワークというか、バックプロパゲーションでの予測や認識について、どうやればもうちょっと良い結果がだせるのか検討しています。 バックプロパゲーションはXORが識別できるってのが、パーセプトロント比べてすごかったところなのだけ…

Web2.0系であえて制限を付けることで集合知の自己組織化

ニコニコ動画、学術研究の対象に--ユーザーによって淘汰される「タグ」の可能性:ニュース - CNET Japan ニコニコ動画の場合、1つの動画に最大10個までしか付けることができない。 動画に合わないタグは、他のユーザーによって削除される。つまり、タグが「淘…

SVMとニューラルネットワーク(BP)

最近のスパム判定には、SVM(Support Vector Machine)というパターン識別手法が使われている物があります。 最初SVMのことを知らなくて、ぐぐってみた中で、自分にはここの説明が、一番特徴がわかりやすかったです。 SVMを使うとなにが嬉しいの? これを読ん…

念じて操作が可能に

asahi.com:念じた通りにジャンケンロボ 脳の情報を信号化MRIで取った脳内の情報をパターン認識させて、何をしたいか念じるだけで何らかの操作を可能にする、というもの。 近いことをするために、脳に電極を刺して読み取ったり、逆に何らかの情報を与えたり…

ニューロンとグリア細胞

はてなダイアリー - れれれの日記より、思考をつかさどる陰の立役者 グリア細胞 グリア細胞はニューロンが置かれた状況をモニターしながら,グリア同士で情報をやりとりし,ニューロンのシナプス形成をコントロールしているらしい。記憶や学習という脳の高次…

GPUで高速NeuralNet

GPUで行なうNN(ニューラルネットワーク) - やねうらお−AIとかD言語,C#,3D,数学,compiler,disassembleとかについて書いちゃうぞ、と。学生の頃、ニューラルネットちょこっとやってて気になったのでメモ。 あの頃、一晩寝かせてさてどのくらい学習したかな〜、…