IIIF動画アノテーション

IIIF動画アノテーションについて

IIIFが目指すところのウェブコンテンツへのアノテーションを可能とすることは、世界に散在する情報に対して多様な文脈に基づく知識を接続していくことであり、そして、それを通じて、すでに膨大に存在するウェブコンテンツを礎とする巨大で柔軟な知識基盤を現前させることになる。これまでは主に画像に注力してきたIIIFは、2020年6月に公表したIIIF Presentation API Version 3.0により、動画へのアノテーションを実現するために必要なタイムライン機能を仕様として明示することとなった。これにより、仕様上は、動画上の任意の場所に画像や文字・音声を重ね合わせたり、逆に任意の画像上に動画を重ね合わせるといったことも可能となった。

しかしながら、この時点ではこの仕様を十全に実現するためのアプリケーションが開発されたことを前提とするものでもなければ、開発を保証するものでもなく、対応アプリケーションの開発はIIIFコミュニティにおいても大きな課題となっている。

人文情報学部門の取り組み：アプリケーションの開発

動画アノテーションは、画像やテキストへのアノテーションとは異なり、実時間に基づくアノテーションが可能であり、静止画像に比べてより多様なコンテンツ作成の可能性が高まることが期待される。そして、人文学研究においても、教育研究全般にわたり、様々な利用可能性が想定される。これが一般化した場合、現在、IIIF対応の静止画像において行われているのと同様に、基盤となる動画が配信・共有された上で、それらに基づいて様々な文脈から語り直すことが可能となる。基盤となるコンテンツとそれに対する解釈が、動画においても国際的な共通の規格を通じて切り分けられ、解釈のみでの多様な流通が可能となったなら、次世代知識情報基盤における表現の可能性は飛躍的に高まることだろう。そのことは、人文学研究においては、研究のプロセスから成果公開、その社会への還元に至るまで、様々な局面において新たな可能性を切り拓くことになるだろう。

人文情報学部門では、その可能性について検討するとともに、IIIF動画アノテーションを具体的に実現するための実装を開発すべく取り組みを行ってきた(*1)。このたびは、IIIF対応ビューアMirador Version 3への機能追加を行うことにより、IIIF Presentation API Version 3.0の動画対応仕様に基づく動画アノテーションを可能とするアプリケーションを開発したため、そのソースコードを公開するとともに、その利用事例について以下に紹介する。

*1 なお、先行する取り組みとして、神崎正英氏作成の IIIF Image Annotatorによる動画への文字によるアノテーションの事例があり、参考にさせていただいている。

ソースコード

IIIF対応ビューアMirador Version 3のIIIF動画アノテーション対応版のソースコード。 オープンソースライセンスとして Apache License 2.0 及び MIT licenseを採用しており、いずれかの利用条件に従って自由に利用されたい。

https://dzkimgs.l.u-tokyo.ac.jp/mirador_vanno/mirador-annotation-on-video-3.3.0.tgz

https://dzkimgs.l.u-tokyo.ac.jp/videos/m3/mirador.min.js (ビルド済み)

事例の紹介

この事例として、今回は、以下の2つの動画アノテーションコンテンツを提供する。

1. ネコの動きについての解説（フェリックス・スタイル提供）

この例では、NHKクリエイティブ・ライブラリーで公開されている複数の動画を外部から読み込んだ上で、それらを順番に表示しつつ「文字ー枠」のアノテーションと「文字ー画像」のアノテーションを表示できるようにしている。（Mirador画面表示後、右下図のようにAnnotationアイコンをクリックするとアノテーションがリストされる）

2. 2017年制作のオープンコースウェア動画のアノテーションによるブラッシュアップ

この例は、3年前に制作され、内容が古くなってしまったオープンコースウェアの動画に対して、動画を再編集するのではなく、「文字ー枠」のアノテーションと「文字ー画像」のアノテーションによって文字による説明や画像、アノテーションを通じたリンクを追加する等して情報を補足することによって、2020年にも通用するようにブラッシュアップを試みたものである。（上記の例と同様、Mirador画面を開いた後にAnnotationアイコンをクリックされたい）

3. 上記の1. と2.を並列表示するもの

これはあくまでも技術的な例示に過ぎないが、このように、複数の動画を並べて提示することも可能である。

上記の3つのリンクにおいては、いずれも動画に対してIIIFアノテーションが付与されており、annotationsパネルにおいて列挙された注釈が適宜動画上に表示されるとともに、各注釈をクリックするとそれに対応する時間へと移動するようになっている。

この機能を試していただくとともに、オープンソースソフトウェアとして公開しているこのソフトウェアを用いて、様々な可能性を試してみていただきたい。なお、このMirador改良版における動画アノテーション付与の方法については、以下のリンクを参照されたい。

　IIIF動画アノテーションの作り方

なお、このアプリケーションの開発は、東京大学大学院人文社会系研究科附属次世代人文学開発センター人文情報学部門、一般財団法人人文情報学研究所、東京外国語大学アジア・アフリカ言語文化研究所、有限会社フェリックス・スタイルが共同で行ったものである。