ベースモデルは「Japanese Stable LM Gamma 7B」で、このモデルは商用ライセンスとして提供されている。さらに、このモデルは最新の手法「LLaVA-1.5」のモデル構造と学習手法を採用している。

また、Stability AIが開発した「タグ条件付きキャプショニング」という機能も含まれている。これは、出力キャプションで使いたい単語を入力できる機能である。

これらの機能の利用により、画像についてチャット形式で応答するチャットボットが利用可能となり、動画のフレームからのキャプション付けも可能となった。

社内評価によれば、この新モデルは最初のバージョン「Japanese InstructBLIP Alpha」と同等の性能を達成しており、その点で初期バージョンとは異なっていた。

ベースモデルである「Japanese Stable LM Gamma 7B」は、約70億パラメータを持ち、日本語タスクで最高水準の性能を発揮している。このモデルは、8月に公開された「Japanese Stable LM Alpha」シリーズとは異なり、継続事前学習というアプローチを採用している。

前モデル「Stable LM 3B-4E1T」などは、英語の能力が非常に高く、多くの知識を既に獲得していたが、日本語の能力はまだ低い状態だった。しかし、日本語のデータでさらに事前学習を行うことにより、日本語の能力を向上させることができた。

【関連リンク】

・Stability AI、画像にキャプションを付ける言語モデル　商用利用可能(Impress Watch)
https://www.watch.impress.co.jp/docs/news/1546438.html

TEXT：PreBell編集部
PHOTO：iStock