【Rakuten AIの裏側】リー・ションが語る日本語LLMとAIの未来
※本記事は、以下の「Rakuten.Today(英語版)」で掲載された記事を抄訳したもの です。
https://rakuten.today/blog/inside-rakuten-ai-lee-xiong-on-japanese-llms-and-the-future-of-ai.html
本シリーズでは、楽天に携わる責任者や、「AIの民主化」を目指す楽天のビジョンを推進するキーパーソンに話を聞き、AIという革新的なテクノロジーにまつわる様々なトピックについて深く語っていただきます。過去のブログはこちらからご覧いただけます。
また、楽天グループのYouTubeチャンネルでは、「 Rakuten AI の裏側シリーズ 」として本記事を含むインタビュー動画を公開していますので、ぜひご視聴ください。
第2回目となる今回は、楽天グループAIリサーチ統括部ヴァイスディレクターのション・リーに話を聞きました。ションは、楽天の機械学習およびディープラーニングエンジニアリング部門のトップとして、日本語の人工知能(AI)の進化に意欲的な取り組みをしてきました。AIとの出会いは大学生のときにさかのぼります。それは、AIに対する一般の人々の関心が爆発的に高まる少し前のことです。
「ディープラーニング（深層学習）が主流になる直前の時代。当時はまだ、機械学習やディープラーニングはとても専門的なテーマだとみなされていました」とションは振り返ります。
2017 年、ディープラーニングモデル「 Transformer 」が登場し、コンピューターによるテキストの解釈方法を変革しました。「このモデルが自然言語処理とあらゆるテキストベースのタスクに革命を起こすことになると、私たちは気づいたのです」とションは言います。
ションは、AI の分野において、顕著な貢献を続けてきました。例えば、ANCE（近似最近傍探索における負の対比推定）に関する研究論文は頻繁に引用され、RAG（検索拡張生成）を活用したアプリケーションの基盤として広く認知されています。さらに、コンピューター関連の様々な事業を展開する世界的な企業で検索アプリ用のGPUモデル展開を先駆的に推進。その後、楽天に入社し、2022年にはマシンラーニング・ディープラーニングエンジニアリング部の創設に携わりました。
基盤、イノベーション、そして最先端研究
楽天のAI開発における3つの重要な戦略について、ションは次のように説明します。
「1つ目は、私たちが『基盤シナリオ』と呼んでいるものです。楽天の検索や広告、レコメンド機能においては、機械学習が価値を創出し、業界全体で年々大幅な向上を実現できることがすでに実証されています」
「汎用人工知能（AGI）が実現すれば、社会や経済にとても大きな影響を与えるでしょう。この点は、改めて説明するまでもないと言えます」
リー・ション 楽天グループ AIリサーチ統括部 ヴァイスディレクター
楽天では、いくつかのサービス向けに、AIを活用したセマンティック検索システムを開発・導入しています。
ション「検索は、ビジネスにおいて機械学習が特に大きく応用されている分野です。現在でもレコメンド機能や広告と並んで、機械学習の代表的な活用事例の一つになっています」
2つ目の戦略は「イノベーションとプロトタイプ」です。「チャットベース、画像ベース、音声ベースなど、様々な新しいインタラクションモデルが出てきていますが、どれもまだ試行錯誤が続けられている段階にあります。今後数年の間に、現在のインタラクションとは異なる新たなモデルが登場し、私たちのEコマースサイトでの購買体験やユーザーとのやり取りの主流になっていくと考えています」
最後の戦略は「最先端研究」です。「これは大規模言語モデル（LLM）のことを指します。LLMは現在、AIにおいて多方面で重要な役割を果たしています。さらに、やがて汎用人工知能（AGI）が実現すれば、社会や経済にとても大きな影響を与えるでしょう。この点は、改めて説明するまでもないと言えます」
強力なデータと強固な基盤
楽天の機械学習およびディープラーニングエンジニアリング部門の大きな強みの一つは、国内外で70以上の多様なサービスを展開する楽天エコシステム（経済圏）です。これにより、機械学習の様々な分野において効果的な横の連携が可能になります。他の多くの企業や大学にはないメリットです。
ション「私たちは、LLMだけではなく、検索機能やレコメンド機能なども手掛けており、構築したプログラムやエンジンは機械学習のあらゆる作業に活用されています。そのどれかが改善されれば、他の分野にも役立つわけです。特に、他のハイパースケーラーと呼ばれるテック企業と比べても、私たちのチームはとても高い効率性を実現していると言えます」
「私たちは近道をしません。楽天の最新モデルは事前学習済みのチェックポイントに大きく依存しない設計なので、独自の基盤モデルをゼロから構築することができます」
「楽天は、他社と比べても極めて多様なデータセットを保有している企業の一つだと思います。特に日本語のデータセットについてはそうといえるでしょう」とションは指摘します。
この強力なデータを最大限に活用するため、楽天はAI基盤技術のさらなる強化に取り組んできました。
「典型的なLLM開発は、2つの段階に分かれます。1つは事前学習の段階、もう1つはファインチューニングの段階です。事前学習とは、膨大な自然言語テキストのデータ群を使ってモデルを実行し、次の単語や文字（トークン）を予測させるために必要な作業です。一方、ファインチューニングは、特定のタスクに合わせて実際にモデルを訓練する作業です」
AI開発の世界では、既存の事前学習済みのモデルを少しファインチューニングするだけで、外部の評価テストで高いスコアを獲得することはできますが、それだけでは実際に役立つモデルになるとは限りません。最近のLLM性能評価では高いスコアを収めていますが、楽天のチームが重視しているのはチーム独自の評価指標です。
ション「私たちは近道をしません。楽天の最新モデルは事前学習済みのチェックポイントに大きく依存しない設計なので、開発元が次世代モデルをオープンソース化しない場合や他の基盤モデルが公開されなかった場合でも、独自の基盤モデルをゼロから構築することができます。それができる企業は多くないと思います」
日本語AIの飛躍的進歩
「単純な話、英語モデルは日本語の入力に対してそれほどうまく機能しません」とションは説明します。また、広く利用されているオープンソースモデルの多くは、ファインチューニングをしない限り、日本語の質問にも英語で応答することがあると指摘します。「ほとんどの生成AIチャットボットでは、日本語や中国語など英語以外の言語で入力すると、全く同じ質問でも回答の質が下がると感じることもあります。多くのモデルでは英語以外の言語を十分に考慮していないのです」
多くのAIに関するイノベーションが米国発であることを考えれば、無理もないことだとションは言います。
「楽天にはどこよりも優れたデータがあり、モデルは拡張可能で、しかも極めて効率的に日本語を学習できます」
ション「当然ながら、シリコンバレー発の主要な生成AIの大半は、まず英語に最適化されます。それによってギャップが生じるのは確かですが、同時に楽天のような他の開発企業にとってはチャンスも生まれます。楽天は、日本語対応能力が優れたモデルを構築できますし、実稼働に応用できる実用的なレベルまで高めることも可能です」
まさに、チームはそれを実現しています。2024年前半、楽天は「Rakuten AI 7B」を含む一連のモデルを公開し、AIコミュニティーで 大きな話題となりました。グローバルなAIモデルにみられる日本語処理能力の不足に対応した「Rakuten AI 7B」は、リリース時点でオープンな日本語LLMにおいてトップの評価を獲得しました。
ション「トークン化機能の効率が向上したのは確かだと思います。独自の圧縮アルゴリズムを用いることで、英語の処理能力に悪影響を及ぼすことなく、与えられた語彙に最適なトークン、特に日本語に最適なトークン圧縮ができることが実証されました」
LLM開発で成功する鍵は、スケーラビリティ（拡張性）とデータの品質だとションは言います。
ション「楽天は豊富なデータを保有しています。その多くは日本語で、言語データとしての質も非常に高い。チームはそれを理解しているので、より的確なフィルタリングができます。こうした要素を組み合わせることで、化学反応が起こります。楽天にはとても優れたデータがあり、モデルは拡張可能で、しかも極めて効率的に日本語を学習できます」
「AIの民主化」を目指して
日本語ネイティブのAI機能を開発することの重要性は、単に機能性の問題だけでなく、世界的な舞台での技術競争力の領域にもおよぶとションは指摘します。
ション「私が懸念するのは、高性能のAIを構築できるのがどこか1カ国で、しかもその国の中の2、3社の企業だけしかないという状況になれば、他の国々や企業は、ある程度はそうした企業のなすがままになってしまうことです」
重要なのは、この分野で積極的な開発に取り組む企業がもっと増えることです。
「世界中にスーパーAIを開発できる企業が増えれば、こういった問題は起こりません。私たちテクノロジー企業は、AI技術を応用するだけでなく、自らAIを創り出すべきだと考えています。楽天が、このAIという素晴らしいテクノロジーの民主化を推進する原動力の一つとなれることを願っています」
汎用人工知能（AGI）の未来に備える
（注1）Mixture of Expertsアーキテクチャは、モデルが複数のサブモデル（エキスパート）に分割されているAIモデルアーキテクチャです。推論および学習中は、最も適したエキスパートのサブセットのみがアクティブ化され、入力処理に使用されることで、より汎用的で高度な推論を行うことができます。
楽天におけるAIの未来は、2通りあるとションは見ています。「1つ目は、コストを抑えながらモデルを拡張するという、現在多くの企業が競い合っているアプローチです」
これを実現するための方法の一つが、「Mixture of Experts（MoE）」と呼ばれる手法です。
ション「この手法は、多数の小さなモデル（エキスパート）が集まった巨大なモデルを訓練し、そのモデルを実行するときは、一部の小さなモデルで構成された特定のサブセットだけを呼び出すという仕組みです。モデル全体を実行するのと比べると、コストを大幅に削減しつつ、高いパフォーマンスを実現できます」
急速に注目が高まっているこの技術を、楽天はいち早く採用しました。「私たちの最新モデルは、日本語に最適化されたMixture of Expart（MoE）です」
汎用人工知能（AGI）の未来への2つ目の方法として、より広い視野から最新AIのアーキテクチャーそのものを再検証しています。
ション「Transformerの限界は、業界内では広く認識されています。入力内容が長くなると、拡張できない。チャットのやり取りが増えると、モデルが処理しなければならない文脈が長くなり、パフォーマンスが低下してしまいます」
汎用人工知能（AGI）を実現するには、この壁を突破することが極めて重要で、楽天はこの取り組みの最前線に立つ必要があるとションは考えています。
「例えば、汎用人工知能（AGI）を実現し、専門的な環境で人間と同等の習熟度でテストを行えるようにするには、何百万、何千万という数の文脈を同時処理できるモデルが必要です。汎用人工知能（AGI）のような技術が実現されれば、創出される価値は私たちの期待を大きく上回る可能性があります。そうなったときに、自ら構築し、お客様に提供することができるモデルを持つことが極めて重要になると確信しています」
