SEED-Story——腾讯推出的多模态故事生成模型

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

SEED-Story的主要介绍是什么？

SEED-Story是腾讯推出的一款多模态故事生成模型，它利用多模态大语言模型(MLLM)生成丰富、叙事连贯及风格一致图文故事。用户只需提供一张图片和一段文本作为故事的开头，SEED-Story便能生成一个包含丰富且连贯的叙事文本以及在角色和风格上保持一致的图片的多模态长篇故事。这一技术展示了AI在大规模多模态故事创作上的巨大潜力。

SEED-Story功能特点是什么？

1. 多模态生成：能够同时生成文本和图像，形成完整的多模态故事。
2. 连贯叙事：生成的文本和图像在情节和风格上保持高度一致。
3. 长故事生成：可以生成长达25个多模态序列的故事。
4. 用户自定义起点：用户可以通过提供初始图像和文本来定义故事的开始。

SEED-Story优缺点是什么？

优点：

• 强大的多模态生成能力，能同时产生文本和图像。
• 生成的故事内容丰富、连贯，角色和风格一致。
• 能够生成比训练序列更长的故事。
• 用户可以自定义故事的起点，增加了创作的灵活性。

缺点：

• 可能需要较高的计算资源来支持模型的运行。
• 在某些复杂情境下，模型的生成效果可能不够理想，需要进一步优化。

SEED-Story主要应用场景有哪些？

1. 创意写作：作家或编剧可利用SEED-Story生成初步的故事草案或寻找灵感。
2. 广告设计：通过生成吸引人的图文故事来制作广告。
3. 娱乐互动：在游戏或互动娱乐项目中，利用SEED-Story生成有趣的故事情节。
4. 教育应用：在教育领域，可以用来创建富有教育意义的故事材料。

如何使用SEED-Story？

1. 用户提供一张初始图片和一段文本作为故事的起点。
2. SEED-Story根据输入生成多模态故事，包括文本和图像。
3. 用户可以根据生成的故事进行进一步的创作或编辑。

SEED-Story的训练方法？

SEED-Story采用了三阶段的训练方法，包括视觉分词、指令调优和去分词器适应。通过这三个阶段，模型能够学习如何从给定的图像和文本开始生成多模态故事。此外，团队还提出了多模态注意力汇聚机制，使故事能以高度高效的方式自回归地生成多达25个序列的故事。

SEED-Story的框架结构？

SEED-Story的框架结构主要包括以下几个部分：

1. 多模态大语言模型(MLLM)：作为整个框架的核心，负责理解并生成多模态内容。
2. 视觉分词器与去分词器：用于将图像转换为模型可理解的格式，并从模型中生成的标记重新构建图像。
3. 多模态注意力汇聚机制：使模型能够高效地生成长序列故事。

SEED-Story的创新点？

1. 多模态生成：结合了文本和图像生成，创造了更丰富的故事内容。
2. 长故事生成能力：通过多模态注意力汇聚机制，实现了长达25个多模态序列的故事生成。
3. 用户自定义起点：提供了更大的创作自由度。
4. 高度连贯性和一致性：生成的文本和图像在风格和角色上保持高度一致。

SEED-Story的影响？

SEED-Story的推出对内容创作者、广告从业者以及教育工作者等多个领域产生了积极影响。它提供了一种全新的多模态故事生成方式，为创作提供了更多的可能性和灵感来源。同时，这一技术也有可能推动相关领域的技术创新和应用拓展。

SEED-Story的项目地址？

代码地址：https://github.com/TencentARC/SEED-Story

模型下载：https://huggingface.co/TencentARC/SEED-Story