2009年9月10日
執筆・取材：田中亮、吉永大祐
あなたも映画の主人公に〜森島研究室訪問
2005年愛知万博の三井・東芝館で上映されたフルＣＧ映画『グランオデッセイ』は、エンターテイメントの新しい形として多くの人々の間で好評を博した。この映画を支えた技術、「フューチャーキャストシステム」を開発した早稲田大学理工学術院応用物理学科の森島繁生教授に話を聞いた田中・吉永がそれぞれの視点から報告する。
■本記事は２名の学生それぞれの視点から描かれています。
「スクリーンに描き出す夢の世界
―CG技術で示す未来型エンターテイメントの形―」（田中亮）
「 映像世界に個性と感動を
―早稲田大学理工学部応用物理学科 森島繁生教授インタビュー―」（吉永大祐）
スクリーンに描き出す夢の世界:
CG技術で示す未来型エンターテイメントの形
「レーダーに、3隻の未確認飛行物体確認！宇宙船のようです！」
「われわれは、惑星ネオから来た人類だ。そちらは―――？」
「人類だって！？」
大好きな映画の大好きなワンシーン、お気に入りの台詞。誰でも1つ2つは、心の片隅に持っているのではないだろうか。もし、そのシーンを自分で演じることができたなら？ 心に残ったあのシーン、あの台詞を自分の声や顔、姿で再現できたなら？
2005年の愛知万博、三井・東芝パビリオンで上映されたCG映画「グランオデッセイ」は、そんな夢が実現する可能性を私たちの目の前に示してくれた。観客の顔をスキャンし、短時間で出演者としてスクリーン上に映し出す。このフューチャーキャストシステムを開発したのが、早稲田大学理工学術院の森島繁生研究室だ。
万博出品のきっかけ
愛知万博への出品が決まる以前から、森島研究室では映像の登場人物を入れ替える研究が行われてきた。ただし当時の研究内容はCGではなく、実写への適用を想定したもの。表情などは変えずに話す内容だけを変え、口の部分だけを加工することで洋画の吹き替えを自動化することが目的だった。
この研究に強い関心を示したのが、三井・東芝館の出品内容を決めるコンペを控えた広告代理店だった。この研究を応用することで、何か今までにないイベントはできないだろうか? そう考えた彼らは、観客が映像へ入り込むという前代未聞の、そして夢のような企画を打ち立てた。
後にフューチャーキャストシステムを開発することによって実現されたこの企画は、見事コンペを通過した。しかし大変だったのはむしろここからだった。実際にどのようにエンターテイメントとして実現すれば良いのか、誰も確たることがわからなかったのだ。
人一人を映像に取り込むためには、体のどこを再現すれば良いか。顔の色、体格、声・・・あまりにも多い要素。まったく見えないゴールに気が急いた、と森島教授は当時を振り返る。
何よりも、万博に出品するとなれば多くの人が来場する。仮にテストが成功したとしても、それはせいぜい100人といった程度。数万人規模の来場者を相手に、上手くシステムを動かせるだろうか。課題は山積みだった。
わずか2年間――それが、研究と開発に教授が使える時間だった。夢のような企画、誰も知らない新システムを開発するにはあまりにも短い期間だ。その間には幾つか諦めなくてはいけない部分も出てきた、と教授は語る。本来ならば全身の取り込みをするはずだったが、技術的に可能だったのは顔のみ。髪型の取り込みや動きの再現も非常に難しかったため、キャラクター達はヘルメットを被らざるを得なくなった。ヘルメットを着用するようなシチュエーションを考えていくと、物語の舞台は限られてくる。こうした技術面からくる様々な制約の下で、宇宙を舞台とした物語グランオデッセイが出来あがった。
寄せられた多くの意見や感想の中には、現実世界では実現できない自身の動く姿を見た感動を綴った障害者からの感謝の手紙もあった。160万人以上の観客を動員したこのアトラクションで、教授はひとつの確信を得たという。「これはエンターテイメントとして良いんじゃないか？ そう思いました。」
「その人らしさ」の追求
森島研究室の現在の研究テーマは、このシステムにより磨きをかけることだという。その根本にある発想は主に２つ。１つはその人らしさを再現すること。もう１つは言うならば、「早く・安く・上手く」。つまり、如何にして短時間に低コストで質の高いものを作るかだ。
表情の合成方法の研究は、この２つを示す最も良い例だろう。予め用意した３２パターンある表情の基本単位を、特定の割合で合成することで目的の表情を作り出す。これが、従来の表情の作り方だった。しかしこの方法では計算量が膨大となるため、時間とコストがかかりすぎてしまう。また複数の表情を合成するため、顔のしわが消えてしまいリアリティが薄れてしまうという欠点もあった。
これを解消するために開発されたのが、表情筋を利用した合成方法だ。人間の顔の筋肉をばねのようなものに見立て、物理的な計算によって表情を合成する。実は表情筋は生物学的にも、未だ謎につつまれている部分が多い筋肉である。そのため森島教授は解剖実験にも立会い、本物の表情筋からも研究を進めた。CGの研究のために解剖に立ち会うというのは、驚きを禁じえない。
表情だけではなく髪の毛の再現も、森島研の重要な研究課題のひとつである。体の動きや吹き抜ける風にあわせて、本物さながらに動く髪を表現することは出来ないだろうか。髪の毛一本一本の動きを物理的な計算で作ることは可能だが、より低コストかつ短時間で作り出すのが課題だった。
そこで森島教授が考えたのが、アニメの技術を応用することである。アニメの映像のように髪の毛をいくつかの大きな束で捉え、動かしていく。これによって計算量が大幅に減らせるため、時間やコストの削減だけでなく実用性も高めることに成功したのだ。
「その人らしさ」は、必ずしも顔だけにあるとは限らない。例えば歩き方。少し気を配って周りを見れば判るが歩き方にも個人差があり、最近では指紋などの代わりにセキュリティへの利用が検討されているという。
こういった個人の癖やバレエなどの複雑な動きを再現する方法として、森島教授は骨の動きに注目した。従来のように体の表面の映像を取り込むのではなく、そこから内側の骨の動きを計算して反映させる。ガイコツがバレエを踊るサンプル映像は見た目こそ少々異様だが、確かにバレエの持つ繊細な動きを見事に再現していた。体格が違う人物の再現も、骨格を利用すると骨の長さを変えるだけで容易に可能となるという。森島教授は人間の様々な動きの骨格データベースを作り、CGでの再現に役立てるつもりだと語った。
全てはエンターテイメントの為に
森島研の学生達はそれぞれ1人がひとつテーマを持ち、毎日試行錯誤を繰り返しながら研究を進めている。もちろん研究には苦しいこともあるが、それを超えたところに必ずある楽しさを見出してほしい。教授は学生達にそう願う。「研究の究極的な目的はエンターテイメントだから、研究者自身が楽しんでいないと。」
エンターテイメント――教授の話の中には、何度となくこの言葉が現れた。グランオデッセイの開発の中で教授が感じたのは、エンターテイメントの厳しさだったという。狙ってできることではないが、観客を楽しませ、感動させなくてはならない。その難しさを、教授は身をもって感じた。
大迫力のアクションシーン、感動の名場面。映し出される銀幕に立っているのは、他でもない自分自身。森島研究室が示すのは、そんなエンターテイメントの新しい形である。夢が叶う未来は、もうすぐそこまで来ているのかもしれない。
【田中亮】
映像世界に個性と感動を:
早稲田大学理工学術院 森島繁生教授インタビュー
2005年に開催された「愛・地球博」では、先進的な技術を紹介するイベントが数多く企画された。
そのひとつ、三井・東芝館で上映されたフルCG映画『グランオデッセイ』は、エンターテイメントの新しい形として多くの人々の間で好評を博した。この映画を支えた技術、「フューチャーキャストシステム」を開発した人こそ、早稲田大学理工学術院応用物理学科の森島繁生教授である。
主人公になろう
「今までどこにもないイベント」を目指したと言う、この『グランオデッセイ』を一言で表せば、”誰もが主人公になれる映画”である。
まず、劇場の入り口に設置された７台のカメラで入場者ひとりひとりの顔の立体形状を計測し、それを元に顔のCGを作成する。それをリアルタイムでストーリー映像の中に合成することで、観客自身を映画の出演者として登場させることが出来るのだ。
宇宙を舞台にした壮大な物語、その中で活躍する自分の姿を見つけることは、他のどんな映画でも味わえない喜びと興奮がある。『グランオデッセイ』は、約163万人もの観客が訪れる人気展示となった。
恐竜や宇宙人を描くのに比べれば、現実の人間の顔を再現することなど簡単そうに思えるかもしれない。だが、スタジオで作り込まれたCG映像とは異なり、『グランオデッセイ』には、その特徴ゆえに様々な制約が課せられていた。
まず、スピードの問題である。一回の上映で合成される顔のポリゴンモデルは実に240人分。CG処理が自動化されていないと、とても上映までには間に合わない。
また、顔の形だけ再現しても映画にはならない。再現した顔ＣＧに演技をさせるためには、表情の変化を合成する必要がある。
さらには、配役を決定するために年齢や性別などの情報を抽出しなければならない。それも、顔写真のみから行なわなければならないのである。
それだけの処理を短時間に自動で、しかも確実に行なうためには、高速かつ安定性の高いシステムが不可欠であった。
その高いハードルを越えて開発されたのが、フューチャーキャストシステムだったのである。
一方で、森島教授は「技術が優れているだけでは駄目だ」と語る。
たしかに、時間とコストさえかければ、もっとリアルな映像は作れるかもしれない。しかし、それは「すごい映像」ではあっても、決して163万もの人々を魅了する「感動的な映像」とはならない、と言うのである。
『グランオデッセイ』は、派手なCG演出に慣れきってしまった私たちにも、新鮮な驚きと感動を与えてくれた。その「感動」こそ、森島教授が目指したものだったのだ。
多彩な研究内容
「研究をやっている人が楽しんでいないと、他の人を楽しませることは出来ない」
そう語る森島教授の研究室では、４つの研究グループに分かれて研究が行なわれている。その内容は多様だ。
「顔」を研究するグループでは、顔の形や表情変化をCGで再現する研究を行なっている。フューチャーキャストシステムでは「ブレンドシェイプアニメーション」という、32種類の表情の基本単位を顔CGと合成することで表情変化を再現する手法が使用されたが、現在は表情筋の動きをモデル化することで、より簡単かつ自然な表情変化の再現を実現する研究が進められている。そのために、本物の人体の解剖も行なっているという。
「CG」グループでは、自動車の車体形状のデザインを感性の面から補助するツールや、セルアニメーション独特の陰影付けやキャラクターの髪の動きを3Dポリゴンで再現するツールの開発、また、モーションキャプチャによる「モノの動きのアーカイビング」によって、リアルな動きをより簡単にCGで再現可能にする研究などが行なわれている。いずれの研究もCGデザイナーにとって非常に実用性の高いものであり、論文だけに終わらない応用性を重視する森島教授の姿勢が特に色濃く出た研究グループだ。
研究領域は映像だけに留まらない。「音」グループでは、コンピューターにより人間らしい声と話し方をさせる研究を行なっている。自然な話し方が出来るキャラクターが実現できれば、親しみやすい新たなインタフェースとしての応用が期待できる。
上に挙げた3グループは、あるグループに属する人やモノに共通の特徴を抜き出して再現しようとする研究分野だが、逆に個体の特徴を突き詰めて測定しようという方向性もある。それが森島研究室の4つ目の研究グループ、「認証」グループの行なっている「顔を用いた個人認証」だ。個人認証に用いられる生体情報には指紋から虹彩まで様々あるが、顔情報から個人を特定するシステムは防犯効果が高いという。実現すれば、まさに「顔パス」で開錠できる。
このように多岐に富んだ内容となっている森島研究室の研究だが、そのどれもが「個性とは何か？」という問いを追求している点では共通である。さらに、学生ひとりひとりがひとつのテーマを持って研究していると言うから、まさに”『個性』でもって『個性』を研究する”研究室、と言えるのではないだろうか。
感動を求めて
森島教授の目下の目標は、フーチャーキャストシステムのさらなる改良だ。
『グランオデッセイ』で得た知見の中には、「自分の顔が見つけにくい」といった問題点もあった。俗に言う”薄い顔”の人は、CG化した時に特徴が出にくいからだ。そこで、より見分けやすくするために、顔だけではなく髪や服装なども再現できるようにしたいそうだ。
さらに、視点を変更可能にしたり、筒状のスクリーンに映像を映して、音と映像を一致させることで「音場」を創り出すなど、より観客が映画の世界に没入できるようなシステムを目指している。
一方で、森島教授は、「3DCGで手描きアニメを再現する」手法の開発にも取り組んでいる。
手描きアニメーションは、CGアニメに比べてコマ数が少ないため、動きがたどたどしく見える。しかし、私たちはそれに見慣れているので、ただ単純に手書き風のＣＧアニメを作っただけでは、動きが滑らか過ぎて違和感がある。そこで、CGアニメのコマ数を減らすことで手描きアニメに近づけることに成功している。
手描きアニメ作成現場での深刻な人手不足を受けての研究であるが、興味深いのは、それまでのリアリティを追求する研究とは、発想がまるで逆である点だ。
もっとも、この研究も、教授にとっては他の研究と変わらないものなのかもしれない。リアリティはただの方法に過ぎず、情報量の少ない良さもまた、人々の心を動かすことが出来る。どちらであっても、面白くて、感動できることが大事なのだ。
映像技術に、「リアル」でも「フィクション」でもない、「感動」という極めて人間的な目標を追い続ける森島教授。自らの研究を語るその姿は、非常に楽しそうに見えた。
【吉永大祐】
※この記事は、07年のMAJESTy講義「科学コミュニケーション実習1A」において、横山広美先生の指導のもとに作成しました。
