劣化した線画の自動修復
佐々木一真 飯塚里志 シモセラ エドガー
石川博
Computer Graphics International 2018
概要:
本研究では，古い線画を全自動できれいな線画に変換する手法を提案する．古い線画は線が擦れて途切れているだけでなく，紙の経年劣化によって全体的に汚れが付着している場合が多い．このため，提案手法ではこの線画修復工程を，紙の汚れのテクスチャを除去し線を抽出する「線画抽出処理」，および線の切れ目や擦れた箇所を修復し鮮明な線を生成する「線画修復処理」の2つの処理に分割する．これらの処理はそれぞれ畳み込みネットワークによってモデル化し，一つのフレームワークとしてEnd-to-Endで学習できるようにする．また，このネットワークに線画修復を学習させるため，レオナルドダヴィンチのスケッチを手動でアノテーションした新たなデータセットを構築し，それに加え単純な図形の自動合成によるデータ拡張を行った．提案手法はおよそ500年前のスケッチで評価し，ユーザテストによって既存手法を上回る結果が得られることを確認した．
論文 (14.7MB) データセット (126MB) BibTex
線画修復モデル:
提案モデルは2つのネットワークから構成される．すなわち，線画抽出ネットワークおよび線画修復ネットワークである．まず，古い線画が線画抽出ネットワークに入力され，大まかなテクスチャが取り除かれる．その後，線画抽出ネットワークの出力画像と元画像が線画修復ネットワークに入力され，擦れや途切れの修復が行われる．最後に，それぞれのネットワークの出力が要素ごとに足し合わされ，最終的な線画が出力される．
レオナルドダヴィンチのスケッチデータセット:
提案モデルの学習のため，レオナルドダヴィンチのスケッチを用いた線画修復データセットを構築した．このデータセットでは，71枚のレオナルドダヴィンチのスケッチをスキャンし，それぞれのスケッチに手動でアノテーションを行っていくことで正解となる線画を作成した．使用するスケッチは線画と判断できるものに限定し，アノテーションはペンタブレットを用いてスケッチをなぞることで行った．この際，汚れや陰影，テキストにはアノテーションを行わないようにした．71枚のデータセットの内，10枚をテストに使用し，残りの61枚を学習に用いた．
ダヴィンチデータセットのダウンロード (126MB)
