株式会社Preferred Networksのキーパーソンが語る生成AI開発への情熱とビジョン

---

＜プロフィール＞

鈴木 脩司（すずき しゅうじ）
1987年生まれ、埼玉県出身。Preferred Networks リサーチャー。東京工業大学（現：東京科学大学） 大学院情報理工学研究科 博士後期課程修了後、富士通研究所勤務を経て2017年に入社。バイオヘルスケア領域と深層学習における大規模分散学習の研究開発に従事。現在はPFNグループが開発する大規模言語モデル「PLaMo」における事前学習の開発リードを務める。

中鉢 魁三郎（ちゅうばち かいざぶろう）
1994年生まれ、宮城県出身。Preferred Networks エンジニア。東北大学 大学院情報科学研究科 博士前期課程を経て、2019年に入社。化学プラントの自動運転システムの開発プロジェクトなどに従事。現在はPFNグループが開発する大規模言語モデル「PLaMo」における事後学習の開発リードを務める。

---

近未来アニメに触発され
バイオと情報の世界へ

──鈴木さんが生成AIに興味を持つようになったきっかけを教えてください。

鈴木：小さい頃からアニメが好きで、特に幼稚園のころに見たTVアニメ（『新世紀GPXサイバーフォーミュラ』）が大きなきっかけでした。この作品に登場するマシンにはナビゲーション用のAIが搭載されており、いつかはこういうものをつくってみたいと興味を持ったのが原点になりました。

高校時代は情報系と医学系のどちらの道に進むか迷いましたが、最終的に情報系を選びました。そして、学部3年生の時に生命情報科学と出合い、情報工学と医学の両方を学べる分野であることに感銘を受け、バイオと情報の融合を目指す研究を始めました。

──具体的にはどのような研究をしていたのでしょうか。

鈴木：生命情報科学の領域は幅広いのですが、私が研究していたのはタンパク質の配列解析です。タンパク質の機能を知るには特徴的な配列を特定することが重要で、膨大なデータの中から目的の配列を高速に検索できるシステムの開発に取り組んでいました。

──鈴木さんは一時期メーカーの研究所にお勤めでしたが、そこからPFNに入社した理由は何だったのでしょうか？

鈴木：博士課程の1年目にPFNでインターンを経験し、その際に創業者の西川と知り合いました。その後、西川から「バイオを本気で頑張る」という話を聞き、バイオと情報の分野に真剣に取り組むなら、この会社しかないと考えて2017年に入社を決意しました。入社後は、血液から疾病の診断や予測を行うプロジェクトなどに参画していました。

ものづくりへの興味から
プログラミングに傾倒

──中鉢さんが生成AIに興味を持ったきっかけはいかがでしょう。

中鉢：もともとものづくりに興味がありましたが、工学部に進学してからプログラミングの面白さにのめり込みました。最初はスマホアプリやゲーム開発を楽しんでいましたが、学部3年の時に「AlphaGo（アルファ碁）」を知り、機械学習に興味を持ちました。特に、効率の良いアルゴリズムを追求する面白さに魅了されたことが、大きなきっかけになったと思います。

──中鉢さんがPFNに入社したきっかけは何ですか。

中鉢：在学中に複数の企業でインターンを経験しましたが、PFNはGPUなどの開発リソースが豊富で、実験環境が整っていたことが決め手となりました。

──当時のPFNに対してはどのようなイメージを持っていましたか？

中鉢：競技プログラミングのトッププレイヤーや、「Kaggle（データ分析の競技コンペ）」のグランドマスターが在籍している「不思議な会社」という印象を持っていました。しかし、インターンを通じてインダストリー分野のお客様が多いことを知り、自分のプログラムが実社会の課題解決に役立てられることに魅力を感じ、2019年に新卒で入社しました.

入社してからは、協業先のお客様と共同で研究するプロジェクトに5年ほど携わっていました。具体的には化学プラントの自動運転を実現するためのもので、多くのセンサーデータなどからプラントを安全かつ効率的に制御できるように予測モデルを構築したり最適化したりする研究開発を行っていました。

失敗の許されない生成AIの開発
その難しさとやりがい

──お二人とも、大量の情報を効率的に処理するためのアルゴリズムやシステムの開発経験をお持ちですが、入社時点ではまだLLMのプロジェクトは始まっていなかったのですね。

鈴木：LLMの開発には膨大な計算リソースが必要となるため、 ChatGPTが登場する前の2022年の時点では事業として参入しにくい分野だと考えていました。しかし、翌年に「GENIAC」のプロジェクトが始まることを知り、会社としても本格的に取り組む方針が決まったのです.

もともと私はバイオ分野で大規模分散学習の研究を行っていたこともあり、LLMの開発に貢献できるということでプロジェクトメンバーに指名されました。

──中鉢さんは、このプロジェクトでどのような役割を担当されていますか？

中鉢：LLMの構築は、大規模な「事前学習」と、その学習後に基盤モデルを実用的な形に仕上げる「事後学習」の2つのフェーズに大きく分けられます。鈴木さんは事前学習モデル開発のテックリードを担当し、私は事後学習のテックリードを務めています。

──PFNでは、LLMの開発をゼロベースからフルスクラッチで行ったと伺っています。一番苦労された点はどこでしょうか？

鈴木：すべてが大変だったとしか言えませんが（笑）、強いて挙げるなら、LLMの事前学習には膨大な計算リソースが必要なため、トライアンドエラーを繰り返すことが難しい点です。例えば、第1サイクルで開発した「PLaMo-100B」は、開発期間中に1回しかモデルを構築するチャンスがなく、失敗が許されませんでした.

特に、日本語の精度を向上させるには、高品質かつ大量の日本語データが不可欠です。そのため、データの収集や前処理といった事前準備がもっとも大変でした。

中鉢：事後学習のチームでは、構築された事前学習モデルの問題点を特定し、その解決策を探っていく作業を担当しました。事前学習と比べると試行錯誤を繰り返すことができますが、この問題解決のプロセスがもっとも苦労した部分です。しかし、考えた解決策によって明確な改善が見られた時には大きな達成感があり、大変ではありますが、やりがいのある仕事だと感じています。

LLMの開発はゴールではなく
社会課題解決のための通過点

──GENIACの第2期では、100Bモデルと同程度の能力を持つ新たなモデルの開発を進めていると伺っています。その取り組みについて教えてください。

鈴木：第1期では、学習データの質と量がモデルの性能に大きく影響することが確認されました。そこで、第2期では、まず独自開発したPLaMo-100Bなどを活用し、日本語・英語を合わせて約1,000億トークン規模の高品質なデータセットを作成しました。これは、日本語の「Wikipedia」の約50倍に相当する大規模なものです.

そして、その高品質な学習データを用いて100Bモデルの日本語処理性能を上回る小型モデルを開発し、計算コストや消費電力を10分の1以下に抑えることを目指しています。

──それが30B（300億）モデルとMoE（Mixture of Experts）による8Bモデルということですか？

鈴木：いえ、当初は30Bモデルと、MoEを活用したアクティブパラメータ8Bのモデルを組み合わせることで目標を達成する計画を立てていました。しかし、新たに8Bモデルを学習している段階で、当初掲げていたベンチマークの目標数値をすでに突破していたのです.

そこで、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）とも相談し、MoEを用いずに8Bモデル単体で目標を達成する方針へと変更しました。

──想定していた目標を上回る性能が得られ始めているのですね！ 今後の目標についても教えてください。

鈴木：PLaMoのフラッグシップモデルについては、すでに昨年12月から「PLaMo Prime」としてサービス提供を開始しています。しかし、LLMは単なるチャットAIとしてだけではなく、産業ごとに特化した課題解決型のAIを生み出すことが重要だと考えています。現在、PFNでは金融やバイオなど、専門知識を学習した分野特化型の生成AIの開発にも取り組んでいます。

中鉢：将来的には、今取り組んでいる分野だけでなく、防災や行政など日本全体に貢献できるAIを開発したいと考えています。生成AIが社会のあらゆる場面で活用される時代が来ることは間違いありません。そのためにも、技術の研鑽を続けていきたいですね。

鈴木：PFNの独自性として、生成AIの開発だけでなく、PFNグループ全体でAIチップなどのハードウェア分野にも取り組んでいる点が挙げられます。私たちにとって国産LLMの開発はゴールではなく、あくまで通過点です。AIが現実世界でどのように活用されるかを常に考えながら、さらなる技術の進化を目指していきたいと考えています。

GENIACトップへ