直感的にキャラクタなどを操作するためのインタフェース研究です。

Gulliver’s World
タンジブルインタフェースを用いたキャラクタ操作の研究として
Gulliver’s World が挙げられる。これはテーブル上にあるマーカのついたオブジェクトを動かすことで、仮想空間上のキャラクタを操作することのできるインタフェースである。

Video Puppetry
普段身の回りにある紙をインタフェースに用いたのがVideoPuppetry である。紙人形遊びとカットアウトアニメーションを元にした研究で、紙に書いたキャラクタを動かすことでアニメーションを制作する。
また様々なエフェクトが用意されており、多関節キャラクタ、マルチトラックアニメー
ション、シーン制御、カメラ制御、2.5D アニメーション、シャドウイングなどがある。これらのエフェクトもそれぞれ対応する絵が描画された紙によって入力する。例えば雪の絵が描画された紙をキャラクタに近づけると、雪が降るシーンに変更される。ユーザは紙人形遊びを行う感覚で簡単にアニメーションを制作できる。

Swamped!
人形を用いたCG キャラクタの操作はSympathetic Interface と呼ばれる。Bruce らによるSwamped!は鳥のぬいぐるみを用いたインタフェースである。ぬいぐるみ内部にはワイヤレスセンサが内蔵されており、ぬいぐるみを傾けたり、足を蹴ったりすることで仮想空間のキャラクタを操作することができる。

http://characters.media.mit.edu/projects/swamped.html

SAGE
フィジカルなぬいぐるみを用いてストーリー作りを誘発する研究として、MIT
メディアラボのGesture and Narrative Language Group で開発されたStoryteller Construction Kit が挙げられる。「SAGE（セージ）」と名付けられたシステムで、ウサギ型のロボットと対話をしながらストーリーを作ることができる。このシステムは挨拶や質問の内容を入力することで、ウサギをストーリーテラーとして語らせることができる。またウサギ内部にはモータが内蔵されており、耳を動かしたり、首を傾げたりといった動作も入力可能である。

Soft Toys with Computer Hearts: Building Personal Storytelling Environments

Sam
子供のストーリーテリングを促す手段としてフィジカルなぬいぐるみ等ではなく、バーチャルなキャラクタを用いる研究もある。Sam は半分フィジカル、半分バーチャルな城と投影されたバーチャルなキャラクタSam から成る。ユーザはSam と対話することによってストーリーを制作していく。城の中にある人形を用いてストーリーを制作し、一通り終わるとマジックタワーと呼ばれる場所に人形を入れる。人形が入ったことを検出し、バーチャル空間に人形が現れ、Sam が人形を操作しストーリーを語っていく。
Sam: a collaborative storylistening system for children

STORYMAT
子供が普段接している道具を使うことで違和感なくアニメーションを制作することのできる研究もある。STORYMAT は子供に馴染みのあるプレイマットを用いたアニメーション制作支援環境である。赤外線センサの送信器が内蔵されたプレイマットと受信機の内蔵されたぬいぐるみ、上部のプロジェクタから構成される。プレイマットには道や川等が描かれており、ユーザはぬいぐるみをその上で握りながら動かすことでアニメーション録画を行うことができる。ぬいぐるみを握ると内部のトリガーが作動し動きと声を記録し、トリガーを離すと声が再生され、上部のプロジェクタからキャラクタが投影される。http://www.media.mit.edu/gnl/projects/storymat/

Animal Blocks

動物の積み木を用いたストーリー制作支援のためのタンジブルインタフェースである。ユーザである子供は動物型の積み木を動かし、本に投影されたキャラクタを見ながら話を語っていく。同時に本には入力した文字が投影されており、ユーザは話すことと書くこと両方を体験することができる。システムは、RF-ID の埋め込まれた動物型の積み木と、センシングを行う机、またキャラクタと文字を投影する上部のプロジェクタから成る。積み木の動きを認識し絵本のキャラクタを変化させ、その時の会話を録音する。また投影するストーリーの文章は後で入力することができる。ページをめくることで過去に制作したストーリーを観返すことが可能である。
http://www.media.mit.edu/gnl/projects/animalblocks/