新闻中心
LinGen— Meta联合普林斯顿大学推出的文本到视频生成框架
lingen是由普林斯顿大学与meta联合开发的一种全新的文本生成视频框架。该框架采用线性复杂度的mate模块(包含ma-branch和te-branch),取代传统diffusion transformers中计算复杂的自注意力机制,从而实现在单个gpu上高效生成高分辨率、长时间段的视频内容。lingen在降低计算开销的同时保持高质量输出,在视频质量和生成效率方面均优于现有先进模型,为长视频生成及实时交互式应用提供了新方向。
CA.LA
第一款时尚产品在线设计平台,服装设计系统
94
查看详情
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
LinGen的核心功能
- 高分辨率视频生成:支持生成如512p、1024p等高清视频,满足专业级内容创作需求。
- 长时长视频输出:可生成分钟级别的视频,突破以往只能生成10-20秒短视频的限制。
- 线性复杂度结构:基于MATE模块实现线性计算复杂度,显著减少资源消耗,适合在单一GPU设备上运行。
- 优质视频表现:生成的视频在画面质量、文字匹配和帧间连贯性方面表现优异。
- 支持实时交互生成:具备实时生成与编辑能力,适用于多种动态内容制作场景。
LinGen的技术架构
-
MA-branch(多尺度注意力分支):
-
双向Mamba2模块:采用高效的线性序列
模型Mamba2,并通过双向设计捕捉序列中的前后依赖关系。 - Rotary Major Scan(RMS):通过不同扫描方式(如空间行优先、列优先,时间行优先、列优先)重新排列3D视频token张量,增强局部相关性并降低延迟。
- Review Tokens:在处理前添加平均池化token,提供整体序列概览,强化远距离关联。
-
双向Mamba2模块:采用高效的线性序列
- TE-branch(时间注意力分支):将3D视频token划分为窗口并在窗口内计算自注意力,TESA机制能捕捉空间邻近与时间中距token之间的联系;窗口在各层之间交替移动以扩大感受野,提升视频一致性。
- 线性计算优化:得益于MATE模块的设计,LinGen的计算复杂度与像素数量呈线性增长,而非传统模型的二次增长,极大提升了生成效率。
- 渐进训练策略:首先在低分辨率图像任务上预训练,随后逐步提升视频分辨率与时长进行训练;结合图文对混合训练,提高视频连贯性;最终在高质量视频数据集上微调,进一步优化输出效果。
LinGen的项目信息
- 项目官网:https://www.php.cn/link/407c334809565d941338efc9e3a9f687
- GitHub仓库:https://www.php.cn/link/3f1176741b1b079bdc7a2e7f208c902f
- 技术论文链接:https://www.php.cn/link/4c2aeb849fab47239887f8bf9c8e6278
LinGen的应用领域
- 内容创作:用于快速生成电影、电视剧、广告等内容,缩短制作周期并降低成本。
- 游戏娱乐:生成游戏过场动画和背景视频,增强视觉沉浸感。
- 教育与培训:制作教学视频和实验演示,提高学习趣味性和互动性;为企业员工培训提供直观的学习材料。
- 广告营销:快速生成多样化广告视频,适应不同投放场景,提升传播效率。
- 艺术创意:作为新型创作工具,为艺术家提供灵感激发和视频艺术表达的新方式。
以上就是LinGen— Meta联合普林斯顿大学推出的文本到视频生成框架的详细内容,更多请关注其它相关文章!
# git
# 工具
# parkhyun seo的ins
# 东营网络营销推广趋势图
# 新浪推广营销案例分享
# 淘宝优惠券网站怎么推广
# 焦作搜索引擎优化网站
# 中文网
# 相关文章
# 并在
# 适用于
# 是由
# 安装包
# 时长
# 一键
# 高质量
# 普林斯顿
# 排列
# seo广告优化价格
# 淘宝网站优化报告怎么做
# 烧烤怎么做营销推广文案
# 国外网站推广网站有哪些
# 泸州百度seo
相关栏目:
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐:
51单片机怎么连接端口
在遥控器中power是什么意思
debian和ubuntu的区别是什么
电脑如何查看固态硬盘
固态硬盘如何备份
类似微信的聊天软件有哪些
春运抢票软件哪个最好用
苹果手机16新款颜色有哪些
空调主板单片机怎么拆开
今天是农历多少号
j*a数组求和怎么算
华硕k20ce怎么装win7
得物怎样降低手续费 得物如何降低手续费教程
商誉是什么意思
混合固态硬盘如何分区
j*a怎么求数组均值
eraser是什么意思
ka是什么意思
燃气热水器上的power是什么意思
云淡风轻什么意思
电动车power灯亮是什么意思
一年多少周
typescript入门要多久
春运预约抢票能抢到吗
youtube受限模式是什么_youtube受限模式是什么意思
税负是什么意思
vue怎么连接typescript
vs怎么编写typescript
制冰机power1灯亮是什么意思
自己如何安装固态硬盘
新版路由器如何设置路由命令
如何判断固态硬盘
j*a怎么用数组缓存
华为5g手机怎么用4g网络
单片机*计步器怎么用
三星相机里power是什么意思
阿里云手机云盘怎么用_阿里云盘苹果手机怎么用教程
如何卸载typescript
angluar如何命令删除dist
问一下市盈率是什么意思
光刻机是干什么用的
如何区别固态硬盘
如何使用程序编译 执行的命令
春运抢票要用抢票软件吗
摄像机的power chg是什么意思中文
如何在命令行执行存储过程
固态硬盘 如何分区
市盈率中1stdv是什么意思
为什么有的夸克带电
输入命令如何换行


2025-06-21
浏览次数:次
返回列表
模型Mamba2,并通过双向设计捕捉序列中的前后依赖关系。