就在刚刚，Pika发布了一项新功能：

很抱歉我们之前一直处于静音状态。

今天起，大家可以给视频无缝生成音效了——Sound Effects！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

生成的方式有两种：

• 要么给一句Prompt，描述你想要的声音；
• 要么直接让Pika根据视频内容自动生成。

并且Pika非常自信地说到：“如果你觉得音效听起来很棒，那是因为它确实如此”。

车鸣声、广播声、鹰叫声、刀剑声、欢呼声……可谓是声声不息，并且从效果上来看，也是高度与视频画面匹配。

不仅是发布的宣传片，Pika官网现在也放出了多个demo。

例如无需任何prompt，AI只是看了眼烤培根的视频，便可以配出毫无违和感的音效。

再如给一句prompt：

Super saturated color, fireworks over a field at sunset.
超饱和色彩，日落时田野上的烟火。

Pika便可以在生成视频的同时配上声音，从效果中不难看出，烟花绽放的瞬间，声音卡点也是相当的精准。

大周末的发布这样一个新功能，网友们在高呼Pika“够卷、够Awesome”的同时，也有人认为：

它正在为多模态AI创作收集所有的“无限宝石”。

那么Pika的Sound Effects具体要如何操作，我们继续往下看。

给视频“make some noise”

Pika给视频生成音效的操作也是极！其！简！单！

例如只需一句prompt，视频和音效就能“一锅出”：

Mdieval trumpet player.
中世纪小号手。

相比于此前生成视频的操作，现在只需开启下方“Sound effects”按钮即可。

第二种操作方式，就是在生成了视频过后，可以单独给它配音。

例如在下面这个视频，点击下方的“Edit”，再选择“Sound Effects”：

然后可以描述一下自己想要的声音，例如：

Race car revving its engine.
赛车正在发动引擎。

然后短短几秒后，Pika就可以根据描述和视频生成音效，而且还是6种声音可选的那种！

值得一提的是，Sound Effects功能目前只对超级合作者（Super Collaborator）和Pro用户开放测试。

不过Pika也表示：“我们很快就会向所有用户推出该功能！”

然后现在已经有一批网友在开始测试这个Beta版本了，并且表示：

音效听起来和视频很相配，而且增加了很多气氛。

什么原理？

至于Sound Effects背后的原理，虽然Pika此次并没有公开，但在此前Sora大火之后，语音初创公司ElevenLabs就出过类似的配音功能。

当时，英伟达高级科学家Jim Fan就对此做过较为深入的分析。

他认为，AI学习准确的视频到音频映射还需要对潜在空间中的一些“隐式”物理进行建模。

他详细说明了端到端Transformer在模拟声波时需要解决的问题：

1. 识别每个物体的类别、材料和空间位置。
2. 识别物体间的高阶互动：例如，是木棍、金属或是鼓面？以什么速度击打？
3. 识别环境：是餐厅、空间站、还是黄石公园？
4. 从模型的内部记忆中检索物体和环境的典型声音模式。
5. 使用“软性”的、通过学习得到的物理规则来组合和调整声音模式的参数，甚至即时创造全新的声音。这有点像游戏引擎中的“程序化音频”。
6. 如果场景很复杂，模型需要根据物体的空间位置叠加多个声音轨道。

所有这些都不是显式的模块，而是通过大量的（视频，音频）对的梯度下降学习来实现的，这些视频和音频对在大多数互联网视频中自然地时间对齐。注意力层将在它们的权重中实现这些算法，以满足扩散目标。

除此之外，Jim Fan当时表示英伟达的相关工作并没有这样高质量的AI音频引擎，不过他推荐了一篇MIT五年前的论文The Sound of Pixels：

感兴趣的小伙伴可以戳文末链接详细了解一下。

One More Thing

在多模态这件事上，LeCun在最新访谈中的观点也很火爆，他认为：

语言（文本）是低宽带的：小于12字节/秒。现代LLM通常使用1x10^13个双字节标记（即 2x10^13 字节）进行训练。一个人阅读大约需要 100000 年（每天 12 小时）。

视觉的带宽要高得多：约20MB/s。两条视神经中的每一条都有 100 万根神经纤维，每根神经纤维每秒携带约10个字节。一个4岁的孩子在清醒状态下大约是16000小时，换算成字节大约是1x10^15。

视觉感知的数据带宽大约是文本语言数据带宽的1600万倍。

一个4岁孩子看到的数据，是互联网上公开的所有文本训练的最大LLM数据的50倍。

因此，LeCun总结到：

如果不让机器从高带宽的感官输入（如视觉）中学习，我们绝对不可能达到人类水平的人工智能。

那么，你赞成这种观点吗？

以上就是Pika放大招：今天起，视频和音效可以“一锅出”了！的详细内容，更多请关注其它相关文章！

# 机器学习  # 影视站上线前seo  # 优化模型素材网站推荐  # 长沙县网店营销推广招聘  # 的是  # 结构化  # 命令行  # 听起来  # 便可  # 只需  # 多个  # 神经纤维  # 开源  # 一句  # pika  # sora  # 人工智能  # 天猫开店营销推广方案  # 顺势seo  # 甘肃放心的网站优化  # 天庭seo  # seo代码优化有哪些  # 福建问答营销推广  # seo关键词排名来选火星6 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： typescript怎么使用map  如何去除计算器的命令  单片机加热片怎么制作  typescript需要学多久  路由器上的power按钮是什么意思  typescript如何做项目  问一下市盈率是什么意思  苹果16系统有哪些问题  单片机怎么定义字符长度  NoSQL数据库有哪些特点  移动固态硬盘如何使用  夸克文字口令是什么意思  固态硬盘如何装入机箱  43寸电视长宽多少厘米  干股是什么意思  shell如何执行sql脚本命令行  16苹果有哪些机型  光刻机分类有哪些品牌的  performance是什么意思  市盈率是负数是什么意思  怎么看手机是不是双模5g手机  j*a数组对象怎么取  单片机怎么控制内功率  mac 如何启动命令行模式  如何修改域名解析  typescript如何开发  焊机上power指示灯亮是什么意思  typescript如何标记私有方法  typescript哪个最好  春运抢票哪个城市好抢  固态硬盘如何外接  苹果16哪些功能好用  复制 命令如何撤销  j*a怎么声明byte数组  如何利用运行命令查看声音启动  网络光刻机是干什么用的  咋免费领取爱奇艺会员 如何免费领取爱奇艺会员步骤  对象数组怎么用j*a  哪些框架支持typescript  闪光灯power闪烁是什么意思  路由器power灯一直亮是什么意思  nosql数据库的应用场景有哪些  ao3镜像网站哪个好  华为5g手机掉了怎么定位找回  typescript能开发什么  新网站如何填写域名解析  如何设置从固态硬盘启动  如何以管理员身份打开cmd命令行窗口  如何winpe cmd命令  如何用好typescript