Google、テキストや画像から超リアルな動画を生成する高品質な動画生成AI「Lumiere」を発表

2024.10.22(火)

2024年1月23日、高品質な動画をテキストプロンプトや画像から生成する時空拡散モデル「Lumiere」をGoogle Researchが発表した。

Lumiereではフレーム同士のつながりの違和感を解消し、なめらかな動画を生成することが可能となった。

既存のモデルのアプローチとは異なり、動画全体のフレームを一度に生成するという手法を採用することで、自然なつながりとリアリティ溢れる動画生成を実現した。

画像やテキストプロンプトを使用して動画を生成することできるLumiereだが、既存の画像生成AIと同様に動画を生成することはもちろん、画像とそれに付随するプロンプトにより、その画像を動かすこともできる。

動画の一部分を動かすなどの楽しい機能が充実

参照画像を元に「ステッカー」「３Dレンダリング」「線画」などの指定したスタイルで別の動画を生成する「Stylized Generation」という機能がある。

その上、「Video Stylization」という参照動画をベースに「花」「木のブロック」などの指定のテキストに基づき動画を加工する機能も。

その他にも、写真や画像の特定の範囲をアニメーション化する「Cinemagraphs」、動画の欠陥部分を補完する「Video Inpainting」など楽しい機能を備えている。

現時点ではまだLumiereは一般公開されていない。しかし、LumiereのWebサイトでは同モデルのデモが数多く公開されている。もっと詳しく見てみたい人は一度アクセスしてみてはどうだろう。

関連リンク

グーグル、超リアルな動画生成AI「Lumiere」を発表　画像の一部を動画化する機能など（CNET Japan）
https://nordot.app/1123440512861602336?c=768367547562557440

TEXT：PreBell編集部
PHOTO：iStock