Visual AI Lab.

本研究室では，機械学習や深層学習などに基づく生成ＡＩの基盤技術を導入して，視覚的コンテンツを生成／編集／解析する新たな手法を探求しています．画像やＣＧを対象としたメディア表現だけでなく，動作や言語，および音楽などの異種メディアとの統合や現実世界への実体化など，新たな付加価値や表現，演出，創作環境を産み出す学習推論モデルやアプリケーションを幅広く開拓しています．

活動状況

沿革


1994：	豊橋技術科学大学・情報工学系・情報処理大講座にマルチメディア情報処理研究室 [Multi-Media Information Processing lab.]（金子研）の創設
1998：	画像工学研究室 [Visual Computing Lab.] に改称（金子・栗山研）
2005：	英語名を Visual Agent Lab. に改称（栗山研）
2011：	学内再編により，名称をグラフィックスメディア研究室に改称
2018：	英語名を Visual AI Lab. に改称

共同/受託研究

刺繍機製造会社, 広告用LEDボード製作会社, アニメーション制作会社, 自動車製造会社, 鍛造工業, 弁護士事務所, IPA, CREST, 東三河地区NPO, 他

寄附金

人工知能研究振興財団, 日比科学技術振興財団, 東海産業技術振興財団, 栢森情報科学振興財団, 松下視聴覚教育研究財団, 放送文化基金, 堀情報科学振興財団, 他

構成員

助教：顧淳祉

博士３年：

高橋遼

修士２年：

曽我徳導
西川隆盛
瀬戸真生
Israelov Shani (IMLEX)
Niklas Bieck (IMLEX)
刀根千尋（IMLEX）

修士１年：

安達一生
三村泰世
卓越

学部４年：

佐藤勇武
會澤智大
玉田周太郎
土淵龍馬
戸澗いずみ
長尾遙伽

ＯＢ／ＯＧ

歴代教員：

教員の卒業生：

齊藤剛史（現九州工業大学・教授）
岩切裕哉（現広島商船高専・准教授）
岩崎洋平（現高知高専・准教授）
向井智彦 (現東京都立大学)

過去の客員教員／研究員：

岩崎洋平（熊本高専・准教授）
佐藤恵一（函館高専・准教授）
Yi Li（LAAS-CNRS）

現在進行中の研究プロジェクト

テキスト情報からの画像レイアウト推定

スワイプ操作に基づく顔アニメーションの編集

点群データの生成的編集と補間

身振り動作のスタイル転移

動画からのサムネイル自動生成

過去に終了した研究プロジェクト

機械学習に基づくデジタルヒューマン技術

人間の動きを３次元計測して得られるモーションキャプチャデータに対して最先端の深層学習・パターン認識技術を導入し，舞踏やスポーツ，および技能訓練に役立つシステムの構築や，人物動作の識別，自動生成などの技術に取り組みました．

ジェスチャ動作のスタイルリターゲット

化身（アバタ）を用いたコミュニケーションにおけるジェスチャの表現力を高めるために，個性的な動きを実時間で付与する技術を開発しました．
【科研費基盤研究（Ｂ）採択プロジェクト】
Context-based Style Transfer of Tokenized Gestures, Computer Graphics Forum (SCA2022)
パッチの再配置に基づくジェスチャーのスタイル変換，Visual Computing 2021
注意機構を用いた身振り動作のスタイル変換，Visual Computing 2020【CGVI 優秀研究発表賞】
伸縮性パッチを用いた動作スタイルのゼロショット変換，情報処理学会 CGVI 研究会

複雑な動作を対話操作するための特徴空間の教示学習

入力デバイスの操作と複雑な身体動作を関連づけるには，操作と動作の特徴量の分布や構造に整合性が取れ，利用者の認知モデルにも適合させる必要があります．本プロジェクトでは，対話的な教示を介して複雑な動作を直観的に操れる特徴空間を自動獲得するための学習機構を開発しました．
【科研費挑戦的研究（萌芽）採択プロジェクト】

生成的な深層学習に基づく動作の生成

生成型深層学習の敵対的な学習を用いて，人物の多様な動きを生成する手法を開発しました．

深層学習に基づく人物モーションの生成と編集，画像電子学会論文誌【最優秀論文賞】

Deep Compact Motion Manifold に基づくモーションの生成と編集

画像コンテンツの創作・編集支援技術

最先端の機械学習を用いて画像や動画のコンテンツの制作を支援する，生成的な技術に取り組みました．

漫画・イラスト画像のキャプション生成

漫画やイラストの画像から自動的に説明文を推定する技術と，説明文から漫画・イラスト画像を自動生成する技術を開発しました．
教師なし特徴空間ドメイン適応法を用いたイラストに対するキャプション自動生成，電子情報通信学会第５回コミック工学研究会

自然画像の浮世絵風スタイル変換

GANの機構を用いて，風景を撮影した画像を浮世絵風の描画スタイルに変換する技術を開発しました．
UkiyoGAN: 自然画像の浮世絵風スタイル変換，情報処理学会 CGVI 研究会【優秀研究発表賞】

静止画像の動画化（遠藤結城氏[筑波大]との共同）

静止画像の時間変化を深層学習によって学習し，タイムラプス動画を１枚の静止画像から自動生成する技術を開発しました．

Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis, ACM Transactions on Graphics (SIGGRAPH ASIA 2019)

色と動き情報の学習による静止画像からのシネマグラフ生成，情報処理学会 CGVI 研究会【優秀研究発表賞】

イラスト画像の情報学

最先端の機械学習を用いて特徴を捉え，イラストやフォント画像に対する新たな応用を創出する技術を開発しました．

イラスト画像の低解像度化に伴う認知評価指標

イラスト画像をダウンサンプリングしてピクセルアートを生成する際に生じる画質の劣化を，視覚認知的な実験に基づき指標化する手法を提案しました．

イラスト画像の低解像度化に対する認知的な画質評価指標

スタイルに基づくイラスト画像検索

クリップアート等のイラスト素材画像からスタイルの特徴を抜き出し，類似したスタイルの画像を検索・分類・ランキング表示する手法を開発しました．また，スタイル特徴量に基づくセグメンテーションや，色彩理論に基づく色特徴量の抽出手法などを開発しました．

教師なし距離計量学習を用いたイラスト描画スタイルの比較，電子情報通信学会論文誌

イラスト画像のスタイル識別子生成，情報処理学会論文誌【2015年度論文賞等】

An Unsupervised Approach for Comparing Styles of Illustrations 【Best Paper Award】

クリップアート画像のスタイル分類特徴量 - スタイルに基づくランキング -，VC/GCAD 合同シンポジウム【優秀研究発表賞】

漢字画像の高品位な刺繍変換

漢字のフォント画像の特徴を深層学習を用いて抽出し，機械刺繍用のデータへと高品位に自動変換する技術を企業と共同で開発しました．

漢字フォント画像からの刺繍データの自動生成（FIT2019）

画像処理技術のデジタルカラー調光への応用

本プロジェクトでは画像データに基づく電飾イルミネーションの調光技術やカラー照明下のシーン解析技術などを開発しました．

カラー照明シーン画像の色推定

画像解析・認識技術と深層学習技術を応用して，シーンを照らす複数種類のカラー照明の光源色を推定・シミュレーションする技術を開発しました．
Estimation of Multiple Illuminant Colors Using Color Line Features，IEICE Transactions on Information and Systems

屋内照明景観の認知的な再現

カラー照明で照らされた屋内の色味を，通常のカメラで撮影した画像で再現するのは困難です．本プロジェクトでは，ＨＤＲ画像を用いて色味を認知的に自然に再現する画像変換・合成技術を開発しました．

有彩色照明シーンの色情報を考慮したダイナミックレンジ圧縮, 電子情報通信学会論文誌

Restoration of color appearance by combining local adaptations for HDR images, AIC2015

カラー照明による色彩演出の色印象再現，照明学会全国大会【優秀ポスター発表者賞】

イルミネーションの色域を考慮したカラー画像の色変換

LED光源で構成される装飾的なカラーイルミネーションの調光信号を画像の画素値から計算する際に，それらの色域の違いや色ズレを考慮した変換手法を提案しました．

LED点光源群への出力を考慮した画像の色変換最適化

スマートイルミネーション/自律型照明調光システム

画像解析・認識技術を応用して，電飾イルミネーションの表示品質を向上させる手法や，肖像画の自撮りを支援する移動ロボット型の照明システムなどを開発しています．また，省エネ性能を考慮したカラー照明の最適制御技術を開発しました．

顔画像からの照明条件の推定と照明ロボット制御への応用, 情報処理学会 CGVI 研究会【優秀研究発表賞】

WYSIWYG Light:実画像を用いた照明の最適制御，情報処理学会 UBI 研究会【優秀研究発表賞】

ビジュアル/オプティカルコード

２次元バーコードを用いる代わりに「美的な外観」の画像や絵柄をデジタルカメラ等で撮影することにより，埋め込まれた情報を読み取る技術を開発しました．また，２次元バーコードの不可視性を高めて画像に重畳する技術や，可視光（カラーLED光源）を用いたデータ伝送技術も開発しました．

流線コード

スマートフォンに表示されたカラーコードの残像を読み取ることにより，撮影画像のブレに影響を受けない，身振り動作を交えた情報伝送システムを開発しました．

流線コード：カラーパターンの残像を用いた情報伝達, 電子情報通信学会論文誌

照明カラー変調コード

色彩光源の時空間的な変化パターンをデジタルカメラの撮影動画から認識する技術を発展させ，カラーＬＥＤ光源を用いた広告システムやイルミネーションに情報を埋め込んで配信するアプリケーションを開発しました．

色調整可能な照明と物体反射光の動画撮影によるデータ送受信，電子情報通信学会論文誌

擬態化バーコード

デジタル広告システム等の大型モニターに表示された映像に動的に変化するバーコード映像を埋め込み，スマートフォンでの撮影動画から情報を読み取る対話的なメディアシステムを開発しました．

Mimetic code using successive additive color mixture, IEICE Transactions on Information and Systems

テクスチャ画像コード

参照画像のパターンマッチによりテクスチャ画像を自動生成する技術を応用して，ドット化された情報コードをテクスチャ画像中に目立たなく埋め込む技術を開発しました．

Texture Synthesis for Mobile Data Communications, IEEE Computer Graphics and Applications

イラスト輪郭線コード

イラストの輪郭線の色を微小に変色する技術を用いて，情報コードの埋め込みと安定な読み取りの技術を開発しました．

図形輪郭線の明度変化を用いた情報埋込，電子情報通信学会論文誌

複数の図形輪郭線の明度変化を用いた情報埋め込み，情報科学技術フォーラム講演論文集

色復元コード

フレーム枠上のビジュアルコードから画像色空間の特徴量を読み出し，撮影画像から原画像の色を復元する技術を開発しました．

色特徴のコード化を用いたカメラ撮影画像の色復元，電子情報通信学会論文誌

Color Restoration with Visual Feature Code, , IWAIT 2011

ヒューマノイド・アニメーションの知的生成

モーションキャプチャ・データに基づく仮想人間の動作や人体変形の生成技術として，核ノルム最適化，空間統計学，神経振動子等のモデルを導入した手法を提案しました．

スパース最適化に基づく体表面変形アニメーション（向井智彦氏[東京都立大]との共同）

核ノルム最適化手法を用いた，線形ダイナミクスに基づく体表面の変形を事例学習によってモデル獲得し，実時間で再生できる手法を開発しました．

Efficient Dynamic Skinning with Low-Rank Helper Bone Controllers, ACM Transactions on Graphics (SIGGRAPH 2016)

空間統計学に基づく動作補間

類似した複数のデータを，空間統計学で提唱された Kriging というデータ補間手法を用いて精度良く合成する手法を開発しました．その研究成果は SIGGRAPH 2005 で論文として口頭発表しました．また，同手法をデータのテンソル積変換に応用した，高精度の圧縮手法も開発しました．
Geostatistical Motion Interpolation, ACM Transactions on Graphics (SIGGRAPH 2005)
SIGGRAPH demo movie
さらにこの手法を多重線型モデルに基づく動作生成の詳細度制御へと発展させ，実時間での高精度かつ効率的な動作補間法を開発しました．
Multilinear motion synthesis with level-of-detail controls, Pacific Graphics 2007

モーションデータの強化学習を用いた動作生成

人体構造に合致した階層的な強化学習法を導入して，モーションデータから任意の動きを合成する手法を開発しました．
動作データ学習を用いた仮想人間のキーフレームアニメーション，電子情報通信学会論文誌
 モーションデータによる目的関数推定法を用いた仮想人間の動作生成，情報科学技術フォーラム【FIT 船井ベストペーパー賞】
Extensive and Efficient Search of Human Movements with Hierarchical Reinforcement Learning, Computer Animation 2002 (CA 2002)

人体骨格の隠れ構造を用いたデータ駆動型逆運動学

手先や足先の終端効果器を操作して動きを生成する際に，逆運動学で計算される動きを実測データに近づけるために仮想の副次的な骨格構造を学習する手法を開発しました．

逆運動学の副次骨格を用いた動作生成機構，映像情報メディア学会誌

神経振動子に基づく自律的歩行生成

歩行動作のアニメーションにバイオメカニクスの分野で提案された神経振動子のモデルを導入し，物理的な外乱等に対する自律的な動作制御法を開発しました．

神経振動子を用いた歩行アニメーションの自動生成，電子情報通信学会論文誌

Physiological Gaits Controls with a Neural Pattern Generator, The Journal of Visualization and Computer Animation

モーションデータの編集と検索

大量に蓄えられた動作データの検索技術や目的に応じた高度な編集技術を開発することにより，素材コンテンツとしての再利用技術を開拓しました．動作データの配信システム ToMoLoW(TOyohashi MOtion Library On Web)を開発し，可視化技術を用いたデータの直観的な検索機構と共にネット上に一般公開しています．

タイムライン表示を用いた動作データの伝播的編集技術

人間の動作に含まれる姿勢をタイムライン上に効率的に可視化し，類似した動きに対する伝播的な編集機能を備えた対話的なシステムを開発しました．
Pose-Timeline for Propagating Motion Edits, Symposium on Computer Animation (SCA 2009)

リミテッド・アニメーション製作におけるモーションデータの活用

日本のアニメーション製作で導入されたコマ落としの手法によって生み出される「リミテッド・アニメーション」の作風を，モーションキャプチャされたデータを自動的にコマ抜きして再現するシステム（MoCaToon:左図）を，戦略的創造研究推進事業（CREST）で開発しました．そのシステムを使用して，アニメーション製作会社および早稲田大学と共同でＴＶ放映作品（のだめカンタービレ）を製作しました．
キャラクタアニメーション制作の高能率化手法，映像情報メディア学会誌
 「のだめカンタービレ巴里編」指揮者， CREST「銀河鉄道物語」