Confidence Weighted Linear ClassificationをRubyで書いてた

つい最近、機械学習勉強会でConfidence Weightedを読みました。理論はラグランジュで引っかかってしまいましたが、そこ以外はつまること無く読めました。

せっかく読んだのでRubyで実装してみました。といっても、ぜんぜん難しくない。ホント実装簡単すぎる。せっかくなのでオープンソースとかで公開してみたいけれどもどうやったらいいかさっぱり。。。


勉強会では、なぜ1回で学習が収束するのかを議論にしてみました。僕は、分散の値が学習される毎に小さくなっていくため2回目以降の学習によるパラメータの更新量が小さくなるのではないかというのと、Perceptronとは異なり、分類が誤ったからといってその事例が必ず分類できるようにをするわけではないため、他の事例によって元の事例が分類できないパラメータになる可能性が低くなるのではないかと主張してみたけど、すっきり筋の通る説明になっていないのでうーんという感じ。

CWはカーネル化が難しい(moritaさん曰く)ので、そこなんとかならないかなぁと思ったり思わなかったり。