最近DeepLab v3+のことを調べていて、所々で「logits」という言葉が出てくるのですが、これの意味するところがよくわからない状況でした。
twitterで質問してみたところ、Higuchiさんから下記のように教えていただきました。
https://t.co/gTSx2fIJz8 あたりを見ると 「これから確率に変換しようとしている出力層のニューロンの出力値を よくロジットと呼ぶことが多い。」ってことなので、シグモイド関数に掛ける前の分類モデルが出力した生の予測ベクトルのことをLogitsと言ってる感じ
— Kôki Higuchi (@lukather7) June 16, 2019
TensorFlow等の機械学習フレームワークでは、これから確率に変換しようとしている出力層のニューロンの出力値を よくロジットと呼ぶことが多い。
最終レイヤーでは出力をシグモイド関数掛けてさらにソフトマックス掛けて確率として出力することが多いですが、その前のナマの値を「logits」と呼んでるということでした。
最終レイヤーの出力時の処理がシグモイド関数だけなら、その逆関数がlogitsだから、その前の値をさしてlogitsと呼ぶのも理解できます。
こういう慣習的な呼び方はぐぐってもあまり出てこないのがむつかしいところ。
