2024.10.01 リコーがモデルマージで日本語LLM 700億パラメーター、GPT-4同等

 リコーは、モデルマージにより、700億パラメーターからなるGPT-4と同等の高性能な日本語LLM(大規模言語モデル)を開発した。米Meta Platforms社が提供する「Meta-Llama-3-70B」の日本語性能を向上させた「Llama-3-Swallow-70B」をベースモデルに、同社のInstructモデルからベクトル抽出したChat Vectorとリコー製のChat Vectorをリコー独自のノウハウでマージすることで、高性能な日本語...  (つづく)