English

ディープネットワークを用いた大域特徴と局所特徴の学習による
白黒写真の自動色付け

飯塚里志*  シモセラ エドガー*  石川博    (*equal contribution)

SIGGRAPH 2016


コロラド国立公園（1941年）
織物工場（1937年6月）
ぶどう畑（1909年6月）
ハミルトン
（1936年）

概要：

本研究では，ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する．提案手法では，画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した自然な色付けを行うことができる．提案モデルにおいて，大域特徴は画像全体から抽出され，局所特徴はより小さな画像領域から計算される．これらの特徴は“結合レイヤ”によって一つに統合され，色付けネットワークに入力される．このモデル構造は入力画像のサイズが固定されず，どんなサイズの画像でも入力として用いることができる．また，モデルの学習のために既存の大規模な画像分類のデータセットを利用し，それぞれの画像の色とラベルを同時に学習に用いることで，効果的に大域特徴を学習できるようにしている．提案手法により，100年前の白黒写真など，様々な画像において自然な色付けを実現できる．色付けの結果はユーザテストによって評価し，約90%の色付け結果が自然であるという回答が得られた．


論文 (15.3MB) スライド (5.3MB) Webサービス ソースコード (GitHub) BibTex

モデル構造：

提案モデルは4つのネットワークから構成される．すなわち低レベル特徴ネットワーク，中レベル特徴ネットワーク，大域特徴ネットワーク，色付けネットワークである．白黒画像が入力されると，モデルは入力画像の1/2サイズの彩度画像を出力する．この彩度画像を2倍にスケーリングし，入力画像と統合することでカラー画像が生成される．


結果：

その他の結果は こちら.

関連手法との比較：

2つの関連手法との比較結果。入力画像はアメリカ国立公文書に含まれる実際の白黒写真を使用している。


入力画像 [Larsson et al. 2016] [Zhang et al. 2016] 提案手法

その他の結果は こちら.


メディア・報道：

テレビ

  1. "白黒が一瞬でカラーに!"，フジテレビ「とくダネ！」，2016/11/6．
  2. "白黒が一瞬でカラーに"，テレビ東京「ワールドビジネスサテライト」，2016/8/5．
  3. "人工知能が100年前の白黒写真に色をつける！"，TOKYO MX「モーニングCROSS」，2016/6/23．
  4. "白黒写真に“命”を吹き込むようにカラー化するのは、なんと人工知能"，フジテレビ「みんなのニュース」，2016/6/21．
  5. "自然色を追求“人工知能×カラー変換”技術"，日テレNEWS24，2016/6/8.
  6. "白黒写真を自動でカラー化！"，ホウドウキョク（NOTTV，フジテレビオンデマンド），2016/6/8.

新聞・雑誌

  1. "白黒画像を自動でカラー化　早大、ＡＩ使い高速処理"，日本経済新聞，第1面，2016/6/25.
  2. "人工知能で、昔の白黒写真がカラーになる!?"，子供の科学，2016年7月号，誠文堂新光社，2016/7.

論文:

Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa.
"Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification".
ACM Transaction on Graphics (Proc. of SIGGRAPH), 35(4):110, 2016.
@Article{IizukaSIGGRAPH2016,
  author = {Satoshi Iizuka and Edgar Simo-Serra and Hiroshi Ishikawa},
  title = {{Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification}},
  journal = "ACM Transactions on Graphics (Proc. of SIGGRAPH 2016)",
  year = 2016,
  volume = 35,
  number = 4,
  pages = 110:1--110:11,
  articleno = 110,
} 本研究は一部JST CRESTの援助を受けている.