English

全層畳み込みネットワークを用いた線画の自動補完

佐々木一真 飯塚里志 シモセラ エドガー 石川博

CVPR 2017

入力画像 [Darabi et al. 2012] 提案手法

概要:

本研究では，畳み込みニューラルネットワークを用いて線画の欠損箇所を自動補完する手法を提案する．従来の類似パッチや画素伝播を用いた手法では，欠損箇所を手動で指定する必要がある上，直線や曲線などの構造を考慮した画像補完は困難であった．これに対し提案手法では，畳み込みニューラルネットワークを用いて様々な線画の補完パターンを直接学習することにより，線が途切れている箇所を自動的に判別し，線の太さや曲率を考慮して補完を行えるようにしている．提案モデルはすべての層が畳込み層で構成され，部分的に途切れた線画を入力すると適切な線が補完された画像が出力される．さらに，様々な補完パターンをもつ画像のペアを小規模な線画データから自動で生成することで，モデルの効果的な学習を実現した．提案手法は線画のスキャンデータや図形を用いて評価し，ユーザテストによって既存手法の性能を大きく上回ることを確かめた．


論文 ソースコード（GitHub） BibTex

結果:

比較:

既存手法（PatchMatch [Barnes et al. 2009], Image Melding [Darabi et al. 2012]）との比較．従来手法は欠損箇所をマスク（図中の紫領域）を使って指定する必要があるが，提案手法では欠損箇所を自動で検出し補完を行うことができる．

入力画像 [Barnes et al. 2009] [Darabi et al. 2012] 提案手法（マスクなし）


Publication:

Kazuma Sasaki, Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa.
"Joint Gap Detection and Inpainting of Line Drawings".
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.
@InProceedings{SasakiCVPR2017,
  author = {Kazuma Sasaki and Satoshi Iizuka and Edgar Simo-Serra and Hiroshi Ishikawa},
  title = {{Joint Gap Detection and Inpainting of Line Drawings}},
  booktitle = "Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR)",
  year = 2017,
}