人工知能を使って白黒の映像をカラー着色した「大相撲中継」をNHKが制作しました。自動で塗られたとは思えないほどの完成度になっています。
もとになった映像は１９４１年にNHKが放送した大相撲夏場所。NHK放送番組の美術制作やデザインを担当するNHKアートと、AIベンチャー企業のRidge-iが共同制作しました。
制作された番組は、５月２１日の大相撲中継内で放送されました。
６月１０日までは「NHKスポーツオンライン」でも視聴できます。
人工知能によって画像に着色していくシステムが近年は開発されています。たとえば、Preferred Netowrksは「PaintsChainer」を公開しています。着色の作業が自動化できると、プロによる着色の作業が軽減されるメリットがあります。
人工知能を使って画像に着色していく作業は、従来の方法だとAIに学習させるために人間が着色した「教師データ」を数百万枚も準備して、AIに学習させる必要がありました。
しかし、そもそも人間による作業工程を軽減することが目的であるのに、膨大なデータを制作する必要があるとなればメリットがないと言えます。
そこで、今回は人間が着色した教師データが少ないなかで、どのようにして高精度の着色が可能になるかが課題となりました。
映像の場合、複数の画像フレームの連続によって動画が生み出されます。そのため、最初のフレームに対して人間が着色して教師データを作成してAIに学習させると、その後のフレームはわずかに動いた画像が続いていくために教師データを基準にして自動で着色することが可能になります。
上図は紅葉の映像について、白黒画像（左）にAIが着色したもの（中央）と正解画像（右）です。
空や雲の色については正しい着色ができていますが、一方で葉の部分についてはわずかにずれが生じています。
今回の手法では、どの場所に映っている葉にはどのような色が妥当かという情報を含めて学習しているため、似たような特徴をもつ葉に対してはあまり上手く着色できなかったようです。同じような形の葉が細かく動いてしまうために間違いが生じてしまうのでしょう。
では、大相撲の映像を使った着色実験はどのようになったのでしょうか。
取り組み中の力士の筋肉の動きがとてもリアルに描かれています。
複数の顔が映っている客席の様子もとてもよく着色できています。実際に映像を見てみると、非常によくわかります。
人工知能を活用した着色作業は、人間が着色した基準となる画像である教師データの数を増やすほど精度は上がります。一方、教師データの数を多くするほど作業量が増えてしまうため、AIのメリットが失われてしまいます。
そのため、実際に現場で活用するためにはAIに学習させるためのデータ量をどのレベルまで用意するかのバランスが重要になってきます。
今回の映像は、AIによって自動でカラー化した後でプロによるフィニッシュ作業が加えられています。
日本においてカラー放送が開始されたのは１９６０年。NHKにはそれまでに制作された白黒放送の貴重なデータが数多く残っています。
今回のAIによるカラー化技術がさらに精度が上がり実用化レベルまで進むことで、数多くの貴重な映像をカラーで見ることができるようになると期待されます。
NHKスポーツオンライン「カラーでよみがえる名勝負」
NHKアート：NHK放送番組の美術制作やデザイン、グラフィックス・バーチャルセットの企画制作、Web制作など美術業務全般を担うNHKのグループ企業。
Ridge-i：人工知能の技術領域におけるコンサルテーションおよびソリューション開発に特化したAIベンチャー企業。AI領域におけるフロントベンチャーであるPreferred Networksからの技術協力を受け、大手SIerのSCSKへの技術協力およびコンサルテーションを行い、多数のプロジェクトを進めている。
