PKSHA、日本マイクロソフト支援のもと新たな大規模言語モデルを開発（PKSHA develops advanced Large Language Models in collaboration with Microsoft Japan） | News

即時コミュニケーションに強みをもち従来の3倍の速度で回答生成、コンタクトセンターや社内ヘルプデスクへ活用ー4月以降段階的に現場展開　

　株式会社PKSHA Technology（代表取締役：上野山勝也、以下PKSHA）は、世界で初めて「Retentive Network（RetNet）(※1)」を活用した日英大規模言語モデル（Large Language Model、以下LLM）を開発することを、お知らせします。なお、開発は日本マイクロソフト株式会社（本社：東京都港区、以下日本マイクロソフト）の技術支援のもと行われています。PKSHAは「人とソフトウエアの共進化」というビジョンの元、今回のLLM開発を通じ、ビジネスにおける生成AIの実用性を高め、主にコンタクトセンターや社内ヘルプデスクにおける生産性向上を支援してまいります。2024年4月以降、段階的にビジネス現場での実運用を開始する予定です。

PKSHA(パークシャ)によるLLMの概要：「RetNet」による初の日英LLMー回答速度・長文理解に強み

　2022年11月のChatGPTの登場により、生成AIの進化が加速し、国内外でも様々なモデルの研究・開発が進んでいます。PKSHAは、日本マイクロソフトから学習用インフラの提供及び技術支援を受け、以下の特徴を持つ新たなLLMを開発しました。

　既に公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流ですが、本モデルは、その後継といわれるRetNetを使用する世界初(※2)の日英モデルです。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れている上に、従来と同等以上の精度を持つことが示されています。メモリ効率に優れるということは、従来モデルよりも少ないGPU(※3)で運用することが出来、コスト面でも優れていると言えます。このアーキテクチャを使用することで効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現します。
モデルのパラメータ数としては、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメータを採用しました。このモデルを活用することで、例えば日本語の新聞紙2ページ(※4)の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となり、入力情報量が多くなるほど優位性が高まります。また、モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されています。DeepSpeedの活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現しました。

LLM実装用途：回答の即時性を生かし、コンタクトセンターや社内ヘルプデスク業務を刷新

　PKSHA Technologyは2012年創業当初より自然言語処理（NLP）の研究開発に注力し、コミュニケーション領域を中心にAIの社会実装を行っています。コンタクトセンターや社内ヘルプデスク領域等を中心に6,000件以上のAI活用の実績をもち、その領域において更なる高度化を実現するために本LLMの活用を進めてまいります。活用に向け、お客様の課題を理解した上でビジネス現場への実装を前提にした上でモデルの構築を進めていることを特徴としています。

【想定場面.1】コンタクトセンターにおけるリアルタイムのCRMを提供し顧客満足度の向上
コンタクトセンターにおいては、人員不足に加えて、サポート領域やチャネルの拡大、複数人員での複雑なサポート体制から、一人ひとりのお客様にとって満足度の高い対応をすることが難しくなっています。個別のお客様の登録情報や対話履歴、その時系列をLLMが読み取りアドバイスする事で、オペレーターが個別最適な回答を簡単にできたり、専門性や複数の参考情報を必要とする問合せに対して、大量の規約や社内ドキュメントからLLMが高速に回答を導き出す事で、お客様をお待たせする事なく高度な回答をすることが可能になります。

【想定場面.2】社内ヘルプデスク領域における従業員問合せの高度化
企業内のコミュニケーションにおいては、社内システムやツールの増加、業務の複雑化・多様化を背景に、社内問合せや情報検索の効率化が求められています。既に、AIヘルプデスクにより社内問合せを自動化する仕組みは存在していますが、社内マニュアルや、過去の議事録、労働規定等、多岐にわたる情報をLLMが読み取りアドバイスすることで、情報検索や問合せにかかる時間を効率化します。また、即時性の高い回答ができることから、今後はリアルタイムでの商談において、顧客のニーズを満たす商品をAIが即時に提案することや、営業資料から最適な情報を抽出するなどといったことも可能となり、営業職等のフロント業務での実用性が期待されます。

今後の展望：

　更なる検証と改善を行い、2024年4月頃より、段階的にビジネス現場での実運用を予定しています。最初の対象領域として、既にAIの導入実績があるコンタクトセンターや社内ヘルプデスクをまずは想定し、随時領域や活用ケースを広げていくことを視野に入れています。PKSHAグループは、今回開発するLLMを強力なアセットと捉え、保有するその他の技術と組み合わせながら、人とソフトウエアが共に進化することで人の能力が最大化される豊かな社会を目指します。

■日本マイクロソフト株式会社執行役員常務最高技術責任者野嵜弘倫様よりコメント

　日本マイクロソフトは、株式会社PKSHA Technology様による新たな大規模言語モデル開発とそのビジネスへの応用を心から歓迎いたします。この革新的なプロジェクトは、Microsoft Research 開発の先進技術「RetNet」及び Microsoft Corporationにて開発された「DeepSpeed」を活用した日英対応の言語モデルであり、従来のモデルより3倍の速度で回答を生成することが可能です。これにより、コンタクトセンターや社内ヘルプデスクの生産性向上が期待できます。株式会社PKSHA Technology様のこの取り組みは、コミュニケーションの即時性と精度を高めることで、企業の効率化とサービス品質の向上を支援しております。

　日本マイクロソフトは、株式会社PKSHA Technology様の「人とソフトウェアの共進化」のビジョンと、その実現に向けた革新的な取り組みを全力でサポートしてまいります。技術革新を通じて、より豊かな社会の実現と日本企業のDXの加速に貢献できることを楽しみにしております

※1：RetNetの特徴について：
RetNetは、2024年3月現在、ほぼ全てのLLMで採用されているTransformerと比較して以下の特徴を持つモデルと報告されており、Transformerの後継として期待されている技術です。
・Transformerと同等以上の言語性能
・並列実行による高速な学習
・省メモリ・低遅延な推論
詳細は以下の論文をご確認ください。
「Retentive Network: A Successor to Transformer for Large Language Models」https://www.microsoft.com/en-us/research/publication/retentive-network-a-successor-to-transformer-for-large-language-models/

※2：機械学習モデルやその他のNLP関連のツールやリソースを提供するグローバルプラットフォーム「Hugging Face」上で公開されているオープンソースのモデルを対象にした自社調べ。

※3：Graphics Processing Unit（グラフィカルプロセッシングユニット）の略。高速な並列処理を行う特殊な装置であり、グラフィックス処理や科学計算、機械学習などの分野で幅広く利用されています。

※4：新聞紙1ページあたり約10000字とした場合

◆PKSHA Technologyグループについて
「未来のソフトウエアを形にする」をミッションに、企業と人の未来の関係性を創るべく自社開発した機械学習／深層学習領域のアルゴリズムを用いたAIソリューションの開発・AI SaaSの提供を行っています。自然言語処理技術を用いた自動応答や、画像/動画認識、予測モデルなど多岐に渡る技術をベースに顧客の課題にあわせた解決策を提供する他、共通課題を解決するAI SaaSの展開により、ソフトウエアの社会実装を多面的に支援し、人とソフトウエアが共に進化する豊かな社会を目指します。
会社名：株式会社PKSHA Technology
所在地：東京都文京区本郷 2-35-10 本郷瀬川ビル 4F
代表者：代表取締役上野山勝也
URL： https://www.pkshatech.com/

※ Microsoftは、米国 Microsoft Corporationの米国およびその他の国における登録商標または商標です。

PKSHA Technology Inc.　has developed one of the first Japanese-English Large Language Models (LLM) using Retentive Network (RetNet) (*1) in collaboration with Microsoft Japan Co., Ltd. Through this LLM development, PKSHA will further enhance the practicality of generative AI in the business world, primarily focusing on boosting productivity within contact centers and corporate help desks. Actual operation in business environments will begin in stages from April 2024.
https://www.businesswire.com/news/home/20240418370582/en/PKSHA-develops-advanced-Large-Language-Models-in-collaboration-with-Microsoft-Japan

お問い合わせはこちら