apple mm1team 团队最新力作：87亿参数的苹果视频生成大模型stiv，支持多模态条件，性能超越pika、kling和gen-3。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏持续报道全球顶尖AI研究成果，已收录2000多篇内容，涵盖高校及企业顶级实验室。欢迎投稿或联系报道！（投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com）

紧随OpenAI发布Sora之后，苹果发布了其多模态视频生成大模型STIV，论文已发表于arXiv（论文地址：https://www.php.cn/link/07b95840d88e2f1c033865fba89f624b），Hugging Face链接：https://www.php.cn/link/5d4d48d0359e45e4fdf997818d6407fd）。该模型拥有87亿参数，支持文本和图像条件下的视频生成。

STIV 旨在克服现有文本到视频（T2V）模型在生成连贯、真实视频方面的挑战，并高效地将图像条件融入Diffusion Transformer (DiT) 架构。该研究提供了全面的技术报告，涵盖模型架构、训练策略、数据集以及下游应用，实现了T2V和文本-图像到视频（TI2V）任务的统一处理。

主要贡献和亮点：

1. 提出STIV模型，统一处理T2V和TI2V任务，并通过JIT-CFG显著提升生成质量；
2. 系统性研究了T2I、T2V和TI2V模型的架构设计、高效稳定的训练技术以及渐进式训练策略；
3. 模型易于训练且具有强大的适应性，可扩展至视频预测、帧插值和长视频生成等任务；
4. 实验结果在VBench基准数据集上展现了STIV的优势，包括详细的消融实验和对比分析。

STIV不仅提升了视频生成质量，也为其在更多应用场景中的推广奠定了基础。

STIV模型架构及训练策略详解

STIV基于PixArt-Alpha架构，并进行了多项优化，包括时空注意力分解、条件嵌入、旋转位置编码（RoPE）和流匹配目标函数等。 在训练方面，采用稳定训练策略（QK-Norm、sandwich-norm）和高效训练改进（MaskDiT、AdaFactor、梯度检查点），支持更大规模模型的训练。

千鹿Pr助手

智能Pr插件，融入众多AI功能和海量素材

128 查看详情

图像条件融合方法包括简单的帧替换和图像条件随机丢弃，并结合联合图像-文本无分类器引导（JIT-CFG）进一步提升生成质量。 此外，采用渐进式训练策略，先训练T2I模型，再训练T2V模型，最后训练STIV模型，提高训练效率。

数据集与评估

数据预处理包括场景分割和特征提取，以确保输入数据的质量。 视频字幕生成采用高效的视频字幕生成器和LLM分类，并通过DSG-Video模块评估字幕的丰富度和准确性。

实验结果与应用

实验结果表明，STIV在VBench基准测试中超越了PIKA、KLING和Gen-3等模型。 STIV还可应用于视频预测、帧插值和长视频生成等任务。

更多细节请参考原文论文。

以上就是Sora之后，苹果发布视频生成大模型STIV，87亿参数一统T2V、TI2V任务的详细内容，更多请关注其它相关文章！

# 上新  # 曲阜网站优化哪家专业  # 商品类网站建设哪家好些  # 固原网络推广及优化营销  # 如何优化学院网站  # 常州微博小网红营销推广  # 餐饮营销9个关键词排名  # 信阳网站建设与推广方案  # 网站的优化公认易速达  # 网上建设公司网站  # 高青抖音营销怎么做推广  # 渐进式  # 插值  # 多模  # 苹果  # 复用  # 新进展  # 一键  # 中国  # 腾讯  # 多项  # pika  # sora  # hugging face  # 邮箱  # ai  # stiv  # 产业 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何修改cad中的命令  如何区别固态硬盘  皓影混动仪表盘上power是什么意思  如何用dos命令启动u盘  市盈率是负数是什么意思  intel固态硬盘如何安装  苹果16哪些会降价的  arp命令如何使用  广东春运抢票怎么抢的  如何在昇腾Ascend 910B上运行Qwen2.5教程  如何查看固态硬盘分区  市盈率静是什么意思  华为如何面对苹果16  ka是什么意思  哪些编程软件需用typescript  征信不好如何短期恢复  苹果16会有哪些更新  怎么关360壁纸广告  如何体验苹果16系统  春运哪天抢票最好  为什么要出折叠屏手机  1s等于多少ms  春运抢票如何快速抢到票  j*a怎么声明byte数组  三星固态硬盘如何安装  typescript怎么设置滚动条  折叠手机内屏为什么会坏  高市盈率是什么意思  单片机怎么计算0xf0  什么软件能下载夸克视频  typescript书籍哪个好  台达变频器power灯是什么意思  输入命令如何换行  萝卜快跑的收费标准是什么  尼桑越野车中控前power是什么意思  春运抢票最多能抢几趟车  恋爱软件免费聊天不收费的有哪些  负市盈率是什么意思  阿里云盘共享账户怎么用  360n5锁屏壁纸怎么设置  如何知道固态硬盘  酷我音乐怎么改每日推荐 酷我音乐每日推荐修改方法  db2命令中如何去到指定的副本  如何看固态硬盘信息  爱奇艺vip会员可以同时几个人用？  typescript是什么类型的语言  typescript怎么写多个构造方法  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  智能锁type-c接口是什么  征信信用不好如何恢复 征信信用不好如何恢复指南