|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
|
|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
大規模言語モデルの現状と今後の展望［Ⅰ］
――大規模言語モデルのインパクトと直面する課題――
The Current State and Future Directions of Large Language Models［Ⅰ］: Impacts and Challenges of Large Language Models
A bstract
本稿では，大規模言語モデル（LLM: Large Language Models）を支える基盤技術と，それが社会や自然言語処理分野にもたらす影響について述べる．LLMは膨大なデータから様々なパターンを学習し，テキスト解析だけでなく，画像認識，音声処理といったマルチモーダルなタスクにも応用されている．その一方で，LLMはニッチな知識や，記号，論理的な処理における性能の課題，日本語への対応の問題，学習データの効率性など，様々な課題も指摘されている．更に，LLMが多くの分野で使われ始めるにつれ，倫理的な責任や社会への影響を考慮する必要性も高まっている．本稿ではLLMの基盤技術，LLMが抱える課題，そして将来の展望を概観する．
キーワード：生成AI，自然言語処理，大規模言語モデル，トランスフォーマ
ChatGPTの登場から1年が経過し，大規模言語モデルは多くのユーザにサービスとして提供されるようになっている．自然言語処理は「研究フェーズ」から「社会実装フェーズ」へと移行し，新しいインフラへと発展しつつある．同時に，現在も目まぐるしい速さで研究開発が続いている(注1)．読者の中にも，既に日々の業務等でChatGPTや類似のサービスを利用している方が多いかもしれない．
本稿は「大規模言語モデルの現状と今後の展望」というシリーズの前編として，大規模言語モデルの仕組みについて概観し，日本語における課題，一般社会への影響，そして自然言語処理分野への影響について述べる．大規模言語モデルに興味を持つ一般の方々に向けて書かれているので，気軽に読んで頂きたい(注2)．世界中で急速に進む大規模言語モデルの研究開発の現状を理解し，俯瞰するための一助となれば幸いである．
本章では大規模言語モデル（Large Language Model，本文では以後LLMの略称を用いる）の技術について概観する．LLMとは，言葉を理解，生成する能力を備えた人工知能モデルである．その基盤となっているのは，トランスフォーマ（Transformer）と呼ばれるニューラルネットワーク構造に含まれる注意機構（Attention Mechanism）で，Web等から集められた数兆にも上る膨大な量の単語やフレーズ同士の関連性，共起パターンを学ぶことで，言語の理解や生成能力，世界知識などを獲得する(1)．
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード
