マッシュアップツール(と呼ばれるもの)の比較

あのCPUを作っているIntelが新しくマッシュアップツールを発表するらしいというのを Mashups: Mashup Maker Smackdown で知ったのでそのことを書くつもりで書き始めたら長くなったのでまた次回書きます。さいきん顔認識ができることで有名になったOpenCV もIntelが作っているし、Intelファンな自分としてはうれしいです。

Mashable!はいろんなサービスを全部ひとくくりに"マッシュアップツール"と呼んでいますが、マッシュアップツールには大きく分けて3つあって、はっきり区別しておくのは重要だと思うのでそこを整理したいと思います。

マッシュアップツールの分類

マッシュアップツールと呼ばれているサービスの持つ要素は３つに分けられます。

データを取り出すためのもの

マッシュアップ対象にしたいサービスがXMLのように意味のある構造化されたデータを提供してくれるならこの部分はなくていいけれど、マッシュアップ対象として魅力があるのにAPIがない、APIはあるけれどすべてがカバーされていない、なんてサービスはたくさんあります。 ありますよね。

そのときはキカイがHTMLから意味のあるデータを取り出すのをニンゲンが手伝ってあげる必要があります。古くからある手法としては正規表現、最近はXPathなんかを使ってキカイとデータに意味を与えるわけですが、これがアタマを使わない作業のわりに煩雑なのでそれを助けてくれるものです。

データを加工するためのもの

取り出したデータを、混ぜてひとつにしたり、特定の条件でフィルタしたり、中身を書き換えたりしたい、というのをやってくれるのがこのカテゴリです。コマンドラインいえば cat, sort, uniq, grep, sed にあたるシンプルなツールから、住所から緯度経度を得るとか、与えられたテキストでflickrから写真を探してきてそのURLをいれるとか、そういう処理をします。

データを視覚化するためのもの

取り出して加工したデータはただのXMLなので、ニンゲンが見て楽しいかたちに整形して出力する必要があります。HTMLとして書き出したり、写真を並べたり、地図の上にマーカを置いたりします。

マッシュアップツールの比較

この分類をアタマに置いて、Mashable!が勝手にTHE BIG GUNS(有力候補)とTHE UNDERDOGS(負け犬)とに分けているツールの中からいくつかを取り出して見てみましょう。

Yahoo! Pipes

この分野に火をつけた Yahoo! Pipes は、データを加工することだけにフォーカスしたツールです。簡単なことであればマウスで少しいじるだけで、本当に簡単にデータを加工することができてしまう素晴らしさですが、データを加工する以外のことはできません。 最近RSS以外のXMLやHTMLも読み込めるようになりましたが、そこからデータを取り出すのを楽にはしてくれないので正規表現でがんばって取り出す暗黒時代に逆戻りしないといけません。

Microsoft Popfly

1ヶ月経ってもほかのひとを招待させてくれない Microsoft Popfly は、3Dでよく動くのがウリらしいSilverlightのプラグインが必要で、意味もなくUIが3Dだったりするわりにはみためがあんまりきれいじゃないデータの加工とデータの視覚化ができるツールです。

でも、データの加工ツールとしては、最小限+へんな機能しか提供していないYahoo! Pipesに比べると、豊富な機能があります。データを入れるとそれに応じてほかのデータが出てくるblockというものあり、Flickrから特定のタグがついた写真を持ってきたり、特定のURLのdigg数を持ってきたり、last.fmのアーティスト情報を持ってきたりすることができます。これがあらかじめかなりの数が用意されているうえに、自分でblockを作れるので、まとまった処理をひとつのblockとしてまとめておげはそれを繋げて複雑な処理をすることができます。

Popflyは、加工したデータを視覚化してそのURLにアクセスして楽しむことを前提にしているようです(よく調べてないのでXMLのまま取り出すことも可能かもしれません)。データに含まれている写真をSilverlightお得意の3Dで表示してくれるblockや、位置情報を含んでいるデータをLive Earthの地図上にマッピングしてくれるblockなんかがあります。

Google Mashup Editor

Google Mashup Editor もまだlimited test and access is restricted to a small number of developers ですが、まえのふたつが視覚的に操作するものなのに対して、これはガリガリ手でHTMLとjavascriptを書いてマッシュアップするものです。手でコードを書くだけあって、データをこういうふうに加工したいと思えばどんなかたちにでも加工することができますが、使っている間にだんだんとマッシュアップエディタというよりは、使いにくいブラウザ上のエディタでRSSを加工するためのライブラリとテンプレートエンジンライブラリを使って、ふつうにコードを書いている気分になってきます。

これも視覚化することを前提にしていて、加工したデータをGoogle Mapsにマッピングしたり、Google Calendarに入れ込んだりすることができます。

手元で動かす必要がない、というのに魅力を感じなければPlaggerのほうが洗練されていますし、さまざまなブラグインが開発されているので機能的にも圧倒的に優れています。

コードを書いて動かすものなので Google Mashup Editor Tour と Developer Knowledge Base を眺めたらどんなものかは把握
できるでしょう。

QEDWiki

QEDWiki はログインしてちょこっといじってみたものの使い方が分からないのであきらめました.... エンタープライズ向けなのと、みための複雑さからすると高機能そうです。使ってみると、いろいろ融通が利かないコンパイラおばさんとお話ししているかんじで何も見ないでちょこっといじるというのは無理でした。気持ちを入れ替えて、ちゃんと MyWiki : Wiki/Tutorials/BusinessTravel というチュートリアルを見ながら操作したけど、自分にはやっぱり分からず..... MyWiki : Wiki/Docs/GettingStartedAndInstallationにInstallation Instructionsというページがあるので、自分のサーバに入れられるのかな、と思いましたが、ほかのページはリンクが切れているし、ダウンロードできそうなところもないので、そのうち、ということなのかもしれません。

alphaWorks Services | QEDWiki | Overview の文章からすると、外からデータを持ってきて最終的にwikiのページとしてpublishするもののようです。

Dapper

ここからMashable!では勝ち目のない負け組扱いされてるものですがDapperは、そもそも上にあげたものとはカテゴリが違います。DapperはただのHTMLからデータを簡単に取り出すところにフォーカスしたツールです。この部分に特化しているツールはふつうスクレイピングツールと呼びます。

Dapperは スクレイピングはもっと簡単にならなければいけない - bits and bytes でも書いたとおり、ちょこっとクリックしていくだけでほしいデータをXMLで取り出せるツールです。古代の正規表現やXPathと比べるとほんとに魔法のように見えるのでぜひデモ　Dapper: The Data Mapper をみてみてください。

デモだと魔法のようにデータが取り出せるように見えますが、実際にはわりとうまく取り出せないときもあります。取り出す仕組みが全部Dapperのサーバの裏に隠されていて、表側で調整できる項目がほんのわずかなので微調整のしようがないところが欠点です。

OpenKapow

openkapowは、TechCrunch Japanese アーカイブ » OpenKapow: まだDapperまでは のようにDapperとよく比較されることからわかるように、これもスクレイピングに重点を置いたツールです。デンマークで昔からクローラを作っていた会社がその製品を一般公開したものらしいです。ほかのサービスが全部サーバ上で動くのに対してOpenKapowは100Mオーバーの巨大なWindowsアプリケーションで、ローカルのマシンで動きます。もともとがクローラなので、ひとつのページからだけでなく、複数のページからデータを抜き出してまとめる、ということもできます。

UIはわりとDapperと似ていて、ブラウザ上でほしい部分をクリックしていくかんじですが、ベースにある設計思想は全く違います。Dapperは適当にクリックしてボタンを押せばあとはキカイがぜんぶやってくれて90%くらいで期待した結果が得られればいいかな、というつくりなのに対して、OpenKapowはニンゲンがほしい部分をまじめにクリックしてそれぞれをきちんと定義すれば100%期待通りの結果が得られる、間違ってたら何も出てこない、みたいな作りになっています。ブラウザもアプリケーションにIE互換のブラウザが組み込まれていてそれを使います。

このOpenKapowで作られたスクレイピングのための設定は、OpenKapowのサーバに保存してほかのユーザと共有することも可能になっていて、昔ながらのヘビーなネイティブのアプリケーションが、いまふうなWebでのデータ共有をするという点でおもしろいです。

まとめ

というわけでIntelのMashMakerをきっかけに、マッシュアップツールとよばれているものの分類と、各サービスの特徴をまとめてみました。 自分はデータを取り出すのにはdapperで、データの加工をするならpipesで決まりだと思います。視覚化するのはどれもいまいちなので、まじめにやるなら自分で作った方がいいと思います。とりあえず見れればいいのならPopflyがいいでしょう。