Goku是什么？
Goku 是由香港大学与字节跳动联合发布的先进视频生成模型，旨在通过图像和视频的联合生成技术，推动广告创作、内容制作等领域的创新。Goku 的核心优势在于采用了革命性的 Rectified Flow Transformer 框架，不仅支持文本到视频、图像到视频的生成，还能够进行文本到图像的生成。通过利用该模型的多模态生成能力，Goku 能够以极低的制作成本（比传统方法节省高达100倍）生产高质量的创意视频，尤其适用于广告视频创作、数字内容制作等场景。
Goku 基于大量高质量的数据集（约 3600 万个视频和 1.6 亿张图像），结合了多模态大语言模型，能够生成语境一致且质量出色的图像和视频。它提供了高度灵活的生成模式，满足广告、娱乐、教育等多个领域的创作需求。
Goku+：广告创作的革命性工具
Goku+ 是 Goku 的扩展版本，专为广告视频创作设计。它能够通过将静态图像转化为动态视频，为广告创作带来革命性变化。特别是在电商平台、品牌宣传、短视频广告等领域，Goku+ 显著降低了广告视频制作的成本，并提升了广告的吸引力。通过与虚拟数字人的互动，Goku+ 能够打造极具吸引力的视频内容，进一步提升了创作效率。
Goku的主要功能
文本到图像生成（Text-to-Image）：根据文本描述生成一致性高、质量优秀的图像。文本到视频生成（Text-to-Video）：从文本生成流畅的高质量视频，轻松转化创意为视听内容。图像到视频生成（Image-to-Video）：将静态图像转化为动态视频，保证视觉风格和语义的一致性。广告视频生成（Goku+）：支持产品图片与虚拟人物互动，快速制作吸引力强的广告视频。虚拟数字人视频生成：能够生成表现自然、细节精准的虚拟人物视频，适用于虚拟主播、虚拟客服等领域。多模态生成：结合图像、视频、文本三种模态，生成具备时空依赖关系的内容。
技术原理：支撑创新的核心
图像-视频联合VAE：通过3D联合变分自编码器（VAE），将图像和视频压缩至共享潜在空间，有效提升了多模态生成的效率。Transformer架构：采用了2B和8B参数的Transformer架构，利用全注意力机制处理图像与视频的时空依赖关系。校正流算法（Rectified Flow）：使用校正流算法来加速模型的训练过程，提升收敛速度，确保生成更高质量的内容。多阶段训练策略：包括图文语义对齐预训练、图像-视频联合训练及针对不同模态的微调，确保生成能力不断优化。
Goku的应用场景
广告视频制作：Goku能够根据文本或图像快速生成高质量的广告视频，极大节省制作时间和成本。虚拟数字人视频生成：生成表现自然、富有情感的虚拟人物视频，广泛应用于虚拟主播、虚拟客服等领域。内容创作：为艺术创作者提供丰富的创意素材，从自然景观、动物行为到时尚创作，都能轻松生成相关视频。教育与培训：生成生动有趣的视频内容，有效提升教育和培训效果。娱乐产业：在电影、电视剧、动画等娱乐内容的制作中，Goku可以帮助创作者实现高质量的视觉效果和快速生产。
Goku的项目地址
项目官网Github仓库HuggingFace模型库arXiv技术论文
