2025.04.25 NTTが「位置符号化」技術開発　LLMの長文生成が可能に

　NTTは24日、大規模言語モデル（LLM）の最大系列長を超える長文生成を追加学習なしで実現する新技術「ウェーブレット位置符号化」を開発したと発表した。従来のモデルが抱えていた長文対応の限界を突破し、学習コストを大幅に削減できるという。

　自然言語処理などで用いられる深層学習モデル「Transformer（トランスフォーマー）」を基盤としたLLMは、事前学習時に定められた「最大系列長」までしか高精度にテキストを生成できず、それを...　　(つづく)