|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
|
|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
大規模言語モデルの現状と今後の展望［Ⅱ・完］
――企業の大規模言語モデル開発と応用開発の現場――
The Current State and Future Directions of Large Language Models［Ⅱ・Finish］：Corporate Development and Application of Large Language Models
A bstract
本稿では，企業における大規模言語モデル（LLM）の開発動向と，その応用開発に取り組む企業が直面する現場の変化や課題について述べる．OpenAI社を筆頭に，LLMの普及に努める多くの企業が，オープンソース公開やAPIの提供などを通じて，モデル開発に積極的に取り組んでいる様子を紹介する．更に，LLMを活用するソフトウェア開発現場においては，プロンプトエンジニアリングやガードレールの実装など，LLMを効果的に制御する技術が進展していることにも触れる．
キーワード：大規模言語モデル，自然言語処理，ChatGPT，LLM応用，プロンプトエンジニアリング
近年，大規模言語モデル（LLM）は，人工知能分野における最も革新的な進歩の一つとして，広く注目を集めている．LLMとは，膨大なテキストデータを用いて訓練された大規模なニューラルネットワークで，自然言語の処理と生成において驚異的な精度と流暢さを実現している(1)．多くの主要企業がこのLLMの開発と応用に多額の投資をしており，これらの技術は次世代ビジネスの重要なキープレーヤとなることが期待されている．特に，OpenAI社のような先駆者企業による取組みは，LLMの商業的及び学術的応用の可能性を大きく広げた．OpenAI社はChatGPTというサービスを通じて，一般ユーザがチャット形式のユーザインタフェースでLLMを利用できるようにし，LLMやAI技術への注目を爆発的に集めるきっかけとなった．そして現在，ChatGPTの有料APIは，IT分野に限らず，幅広い業界の企業によってサービスの展開や内部業務の効率化に利用され始めている．
OpenAI社をはじめとして，LLMを積極的に開発・応用する企業からは毎日のように新しいプレスリリースが出てきている．本稿では，これらの企業がどのようなLLMを開発しており，また，LLMを応用したソフトウェア開発ではどのようなアプローチが取られているのかに焦点を当て，解説する．
言語モデルの大規模化のブームを発生させた要因としてスケーリング則が挙げられるが，OpenAI社はこの法則に基づき，2019年に15億パラメータを持つGPT-2，2020年には1,750億パラメータを持つGPT-3を発表した．これらの大規模言語モデル（LLM）は，Few-Shot Learningと呼ばれる，少数の例を入力することでタスクの解き方を学習する能力を持つことが示された(1)．これは，特定のタスクを処理するために大量のデータを必要とした従来と比べ，劇的なパラダイムシフトを自然言語処理分野にもたらした．
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード
