令和6年度　産業標準化事業表彰　イノベーション・環境局長表彰　受賞者インタビュー

髙田●大学院までは標準化とは関係ない研究をしていて、2018年にシャープに入社しました。入社後も画像処理分野での開発業務に携わっていましたが、2021年に標準化関連の部署に異動、現在まで映像符号化（注3）の標準化活動に取り組んでいます。異動当初は全く分野が異なり、符号化の仕組みも分からなかったので、様々な資料を読んで勉強しました。標準化の会議は国際会合なので、規格書や提案も英語ですし、参加者は皆、英語で話します。そこで、卒業以来使っていなかった英語を学び直して、読み書きや会話ができるようにしました。新しく勉強し直さなければならないことが多く、なかなか大変でした。

（注3）符号化
情報を本来の形態から別の形態に変換すること。英語ではエンコード（encode）と呼ばれる。符号化の例として、アナログ信号をデジタルデータに変換する、静止画や動画像、音声などのデジタルデータを圧縮する、などが挙げられる。

 

髙田●ISO/IECのWGで、V-PCCの規格への技術提案を行うにあたって、探索実験を行い、技術を評価しました。特にISO/IEC JTC 1/SC 29/WG 7では探索実験コーディネーターとしても活動していて、探索実験ではソフトウェアを実装して性能を評価すると共に、他の会社に実験結果が正しいかどうか確認してもらうクロスチェックを依頼して、その結果のまとめも行っていました。クロスチェックのスケジュール管理や手順のインストラクションなど他社を交えての管理業務も重視して取り組みました。
　

　　V-PCCは、動画像の3次元データである点群を2次元の3つの画像
　（アトリビュート画像：各画素がテクスチャの色情報・透過情報・反射率などを示す画像、
　　ジオメトリ画像：各画素が各点の投影面からの距離を示す画像、
　　オキュパンシ画像：各画素が対応する点の有無を示す画像）
　　に変換し、HEVCやVVCなどの既存のビデオコーデックで符号化し、これを再構成する手法で
　　ある。本ネットワークは、16層の残差ネットワークを積み重ねた構造で、提案技術で用いら
　　れたニューラルネットワーク構造の一部（アトリビュート処理部分）である。アトリビュー
　　ト画像の処理のためにジオメトリ・オキュパンシ画像のような、点群符号化で使う他レイヤ
　　ーのデータを入力として用いることが特徴である。
　　資料提供：髙田圭一郎氏

　　今回規格候補技術（Technology under Consideration（TuC）に採用された技術は、
　　ISO/IEC 23090-5（Visual volumetric video-based coding (V3C) and video-based
      point cloud compression (V-PCC)における再構成前Pre-reconstruction（H.10）処理内で
      復号画像に対してニューラルネットワークを用いて画質改善を行うもの（図中のNN
      refinement）である。　　資料提供：髙田圭一郎氏



　符号化に関する実験は、決められた映像シーケンスやデータセットと評価方法で行わなければなりません。実験の計算量は膨大であり、サーバーも並列処理が必要になります。そのための実験環境の整備は部署内でバックアップしてもらうと共に、ワーキングドラフト（作業原案、途中段階の規格書）の作成や知的財産権関係のやり取りなども社内の経験ある人たちの力を借りました。こうした様々な支援を社内で受けることができたことが成果につながりました。

 

髙田●ニューラルネットワークの技術を用いて、V-PCCの性能改善を行うという提案を出したわけですが、一番大変だったのが性能面での改良で、時間もかかりました。一般にニューラルネットワークは性能アップが可能ですが、計算量が多く、処理に時間がかかってしまうという問題があります。そのため、提案を出す度に、他社の参加者から計算時間の問題や、ニューラルネットワークを用いることへの疑問など様々な指摘を受けました。そうした意見を受けて、問題点を解決するために何度も何度も実験を繰り返しました。
　ニューラルネットワークを使っている他部署の話を聞いたり、論文などを参考にして、計算量を下げながら、性能を担保できる形にするために試行錯誤しました。その結果、最終的には計算量を抑えながら、性能を向上させることができ、最終的に私の提案をTechnology under Consideration（TuC）に漕ぎ着けることができました。
 

2024年4月、フランス・レンヌで開催されたISO/IEC JTC 1/SC 29/WG7
 の会議にてプレゼンテーションを行う髙田氏（写真奥、右側が髙田氏）
写真提供：髙田圭一郎氏

　もうひとつ大変だったのが3Dならではの特徴を出すことでした。2Dでのニューラルネットワーク利用はすでに存在していたので、3D特有の条件に基づいて差別化を図らないと、規格化の必要はないといわれてしまいます。3Dでのニューラルネットワーク技術を利用したビデオベース点群符号化（V-PCC）での符号化効率の向上を図るという部分が規格化の議論の中心になり、それについて納得してもらうのに苦労しました。

髙田●私のV-PCCへの活動は2024年4月で一区切りし、現在は3D映像以外の分野で、次世代の映像方式の標準化活動に携わっています。そこで技術探索をしながら、性能を向上させることができるアイデアがないかどうかを検討しているところです。
 

髙田●標準化は、とても根気がいる活動です。アイデアをひねり出して、実験と評価を繰り返します。それでも思い通りの結果にならないこともあり、処理を追加したら、かえって性能が悪化したこともありました。それにめげずに、何度も繰り返していくことで性能の改善につなげていきます。結果を出せたとしても、他社のメンバーに納得してもらえないと、規格として採用されないので、説得力を持った提案にしなければなりません。ですから、標準化活動は技術者としての総合力が試されますし、その一方で規格化された時の達成感は格別なものがあります。

　これから標準化活動に取り組もうとする人は、初歩的なところから少しずつステップアップしていくとよいと思います。私も英語はディクテーションなど基礎的なところから始めました。技術も複雑なので、いきなり規格書を読み込もうと考えても、わけがわからなくなってしまいます。ですから、標準化の教科書や取りかかりやすい論文などから入っていくのがよいのではないでしょうか。