NTCIR-9ワークショップRITEテキスト推論タスクと自然言語理解

NTCIRは、日本語などのアジア言語を中心とした情報検索・アクセス技術に対する評価型ワークショップです。国立情報学研究所の主催でおよそ1年半おきに開催されており、先頃第9回のワークショップ成果報告会がありました。今回初めて、テキスト推論認識のRITEタスクが行われ、成果報告論文がすでに公開されています：
NTCIR Workshop 9 : Online Proceedings, Evaluation Results#RITE

なお、Javaで記述されたRITE-SDKツールも公開されていて、Eclipseやコマンドラインでサンプルコードを手軽に試すことができます：
テキスト含意認識システムRITE-SDK - 自然言語処理 on Mac

成果報告会ではいくつか口頭発表がありましたが、なかでも印象的だったのは、中国語で抜群に高い性能を示した米国アイオワ大学の内容でした：
UIOWA at NTCIR-9 RITE: Using the Power of the Crowd to Establish Inference Rules

報告者の方は中国語が分からないということですが、中国語のネイティブスピーカーからテキスト推論のルールを集め、Stanford Parserなどの統計ベースのテキスト解析結果に適用しています。ルールの例として、「2つの文に同義語が存在すれば含意する」や「前提の文が仮説の文より長ければ含意する」などが挙げられています。使われているルールは表層的ですが、そもそも表層の情報だけで判定するベースラインの方法でもそこそこの精度が出ると言われています：
The PASCAL Recognising Textual Entailment Challenge

自然言語理解というサイエンスプログラムがあると思うのですが、そもそも理解とは何なのでしょうか？ TVのクイズ王を破ったIBMのWatsonにしても、iPhone4Sで人気の音声対話エージェントSiriにしても、テキストを「理解」している訳ではないのですが…。

ところで、国立情報学研究所が大学入試試験を突破することを目標に人工知能研究プロジェクトを立ち上げています：
ロボットは東大に入れるか。Todai Robot Project

壮大で夢のある話だと思う反面、テストの点数を競うとなると、いわゆる受験テクニック的なことばかり学習してしまわないかなどとちょっと懸念も。例えば、選択肢の何番目が正解の確率が高いとか、このキーワードや言い回しを含んでいたら正解ではない、なんて予備校の人気講師が教えてくれそうな内容ですが、おそらく重要なのですよね。とは言っても、やはり本質的な学力がないと結局受験に成功しないように、人工知能のプロジェクトでも本質的な知見が議論されるといいですね。