小特集 4. 深層学習を用いた創作支援のためのイラストの理解と生成

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.102 No.3 (2019/3) 目次へ

前の記事へ次の記事へ


創造性・芸術性におけるAIの可能性

小特集 4.

深層学習を用いた創作支援のためのイラストの理解と生成

Machine Learning Researches on Understanding Illustrations and Its Applications for Creator Support

大垣慶介

大垣慶介 (株)ドワンゴDwango Media Village

Keisuke OGAKI, Nonmember (Dwango Media Village, Dwango Co., Ltd., Tokyo, 113-0033 Japan).

電子情報通信学会誌 Vol.102 No.3 pp.228-233 2019年3月

©電子情報通信学会2019

abstract

 本稿では,深層学習を用いたイラストやアニメーション分野の画像理解や生成技術と,それによる創作者支援について述べる.画風転写,類似画像検索,半自動着色といったアプリケーションへの応用例を通して,現在実現されている,深層学習を用いた創作者支援を説明する.最後に制作現場への導入例について触れ,今後の深層学習技術の,創作者との関わりについて述べる.

キーワード:深層学習,アニメーション,イラスト,画像生成

1.イラストの研究の進展

 画像の認識,そして生成の分野は近年の深層学習技術の発展により目覚ましい発展を遂げている.それに伴い絵画の分野,更にはイラストやアニメーションへの研究も進んできている.イラストやアニメーションの分野はタブレットを用いたディジタル作画が中心となってきており,画像の認識・理解の技術が応用しやすい分野である.しかしながら自然画像とは異なる特徴も多く,自然画像向けの手法がそのまま利用できない問題も多い.例えば線画を介して描かれるイラストでは,自然画像に比べて画像の勾配が疎であり,画像認識で有用とされる局所的な勾配の情報が使いにくい.また,人物画に限っても,頭髪の色,瞳の色や大きさは実際の人間よりも多様な描かれ方をしているため,統計的に推測することが難しい.

 自然画像に比べてまだ少なくはあるが,この分野でも,深層学習技術の実用例が幾つか現れ始めている.本稿では筆者が所属する(株)ドワンゴDwango Media Village(以下,DMV)での事例を交えて,イラスト・アニメーション分野での深層学習技術の実用化について紹介する.以降の章では,画風の転写,スケッチからの画像検索,イラストの生成,半自動着色,アニメーションでの中割り(用語)についてイラスト分野の研究とその実用例について述べる.

 最後に,これらの事例を通じて,深層学習技術を創作者の創作支援につなげる研究に今後必要とされる要素について考察する.

2.画風の理解と転写

 イラストの分野における深層学習の先行事例として,絵画の画風の分類が挙げられる(1).この研究では,印象派などの画風という抽象的なクラスの認識に畳込みニューラルネットワークが利用できることを示し,また,8万5,000点の絵画のデータセットを提供した.

 その後,学習済みモデルを用いた画風転写の成功事例により,更に画風の理解の分野への注目が集まった(2),(3).この研究では,自然画像で学習したニューラルネットワークモデルであっても,それを利用して,絵画の画像処理ができることを示し,大規模なデータセットの存在しない絵画分野においても深層学習の適用可能性を示した.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録


  

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。