jm@foo

青空サーチエンジン

Landscape（風景）サーチエンジンと銘打っている割には風景を探すのが難しいULSE。もちろんキーワード検索はできるんだけど、やっぱり「景色」で検索したい。言葉ではなく。

というわけでちょっと実験。人間がタグ付けしてフォークソノミー、というのが今風なのかもしれないけど、ここは機械任せの力業を見てみたい。そこでULSEに投稿された過去の画像のうち手元にバックアップがあった3000枚あまりについて、総当たりで相互に画素の平均絶対誤差を取り、誤差が小さいものから順にリストアップするものを作ってみた。
http://ld.minken.net/cmp/
（追記：「候補画像の変更」がWindowsのIEでのみ動かないようです。Firefoxなど推奨）

要するにやっていることは「両画像の同じ位置の画素のRGB各色について数値の差を求め、それを全画素数分足し集めて画素数で割る」という単純なことなのに、場合によってはなんとなく同じような画面構成の絵が集まってくることがあるのが面白い。同じ位置の画素同士の比較をしているとはいえ、結局全画素について平均を取ってしまっているわけで、そんなザックリとした大づかみな値で構図が似てくるのがなんとも不思議。

ただし彩度が低いもの、全体に淡い中間色のものには弱い。これはRGBに分解して比較している以上どうしようもないかも。（中間色はどの色にもまんべんなく比較的近いとされてしまう）
あと、色が似てないと似ていると判断されないのは仕方がないが、グレースケール化した上で比較するとどうなるか、は実験してみたい。

ちなみに、比較にはかなりの計算時間がかかるので、オンデマンドで全画像の相互比較はとてもできない。あらかじめ計算したものをキャッシュしておいて、必要なものを読み込んでいる。

以下、割とうまく行った例：

夕焼け
泡立つ黄色い液体
食べ物を認識しているわけはないけど不思議
同じ構図で撮ってるから当たり前とはいえちょっと感動
旅のスタートの風景をみんな同じ構図で撮り過ぎ
麺類を認識しているわけはない
はり紙や看板この手のものを撮る時の構図がみんな似てるってことなんだろうなあ。でもここまで来ると対象物を認識していると思いたくなってくる。
暗闇で光るもの特集
見事一致だけどこれは位置情報でもマッチできるな。
空に突き出す
動物。精度は低いけど、3000枚の中から数十枚選んでこの確率。動物を撮るときにありがちな構図が平均誤差の数値に表れてるのかな。

笑った。サボテン似かよ。

まあ、うまくいかないことのほうが多いくらいだけど、確実にマッチするのは
青空
ということで、風景サーチエンジンとまではいえないにしても、青空サーチエンジンとなら名乗っても構わないかも。

Tiltomoやretrievrはどうやって比較してるのかな。あ、retrievrの中身はimgSeekなのかな。