新闻中心

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

2024-05-27
浏览次数:
返回列表

目标检测领域,迎来了新进展——

Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

这一进展获得AI大佬沈向洋转发,他一般都是一年一转的节奏。

此次发布主要有两个版本:Pro和Edge。Pro版更强,Edge版更快。

它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构,在此基础上通过结合更大的视觉 backbone 扩大模型尺寸,并使用超过2000万的Grounding 数据获得了丰富的语料,大幅提升了检测精度和速度,且通过Pro和Edge版本分别针对不同应用场景进行了优化。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

在大规模数据集构建和高精度需求场景中,Pro版本表现卓越,而Edge版本则在端侧部署中展示了其独特的优势。

这就来分别看一看。

Pro版目标检测新SOTA

Grounding+DINO+1.5 Pro版本实现了当前开集目标检测SOTA水平,在图像和文本的语义理解上表现出色,能够快速、准确地根据语言提示检测和识别图像中的目标对象。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

△在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比

物体级别理解是机器和物理世界交互的感知基础,也是解决多模态大模型(VLM)幻觉问题绕不过去的基础问题。

作为当前性能最好的开集检测模型,Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据,从而有效地助力多模态大模型的训练。

它可以将长文本描述中的短语与图像中的具体对象或场景精确匹配,以增强AI对视觉内容和文本之间关系的理解

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

另外,在其他需要处理大量复杂数据的领域,如电商、社交媒体和自动驾驶等,Grounding DINO 1.5 Pro 也具有强大应用价值。

例如,在电商领域,该模型可以帮助快速标注商品图像,优化搜索和推荐系统。在社交媒体中,该模型能自动标注用户上传的图片,提升内容审核和分类的效率。

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

支持行业数据微调

除此之外,Pro版还支持通过行业数据进行微调(fine tuning),以满足各行业的特定需求,从而达到更加精准的识别效果。

为了验证微调带来的提升,CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

从最后两行可看出,Grounding DINO 1.5 Pro经过微调,在多个数据集上都展现出大幅的性能提升。

而在多个实际场景,也十分适配。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

像在医疗领域,通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶,辅助医生进行诊断,提高诊疗效率。

在零售行业,微调后的模型能更精准地识别和分类商品,有助于库存管理和销售分析。

Edge版端侧可部署

在端侧部署方面,Grounding DINO 1.5 Edge版本通过模型结构优化,成功部署在NVIDIA Orin NX卡上,并实现了10FPS的推理速度。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

再者,它可以让机器人和开放环境进行交互。

目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞

在自动驾驶领域,Grounding DINO 1.5 Edge未来可以在车辆上实时运行,实现高效的目标检测和环境感知,提高驾驶安全性。在智能安防中,该模型能快速处理视频监控数据,实时检测异常行为,提升安全监控的响应速度。

未来,Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS,进一步扩大其在边缘计算领域的应用范围。

论文链接:
https://arxiv.org/abs/2405.10300
项目试玩链接:
https://deepdataspace.com/playground/grounding_dino

以上就是目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞的详细内容,更多请关注其它相关文章!


# 目标检测  # SEO优化员发展前景  # 酒店新产品营销推广策略  # 莱芜营销推广费用  # 郑州企业seo推广  # 乐山seo优化排名系统  # 合肥seo网页优化  # 开源  # 玩转  # 如何使用  # 可以帮助  # 它可以  # 多模  # 多个  # 进阶  # 省电  # playground  # 库存管理  # ai  # 家居网站推广团队怎么做  # 鹰潭房产网站建设  # 湖北快手营销推广中心  # 开封网站免费推广公司 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: vivo手机nfc功能是什么意思  typescript如何标记私有方法  汽车中控导航机power线是什么意思  cmd如何定时执行命令  三星 nfc什么功能是什么意思  课程伴侣电脑怎么登录  2025年国外最佳语音聊天软件排行榜  主板如何禁用固态硬盘  市盈率百分位roe是什么意思  linux命令行如何使用中文输入法  宵衣旰食是什么意思  显示器的power是什么意思  征信信誉不好如何恢复 如何修复不良征信方法  手机的nfc是什么功能是什么意思  硬盘和固态硬盘如何区分  固态硬盘4k如何看  单片机for循环怎么用  春运提前抢票攻略  春运抢票需要什么软件抢  光刻机的分类及其优缺点  如何查看硬盘是固态硬盘  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  debug中如何用n命令命名程序文件名  ts什么意思  市盈率市净率是什么意思  如何把一个命令后台运行  华硕k20ce怎么装win7  如何在一串数字前面去掉四位数的命令  360n7lite怎么设置动态壁纸  苹果16系统有哪些系列  如何把u盘改成固态硬盘  苹果16哪些功能好用  kingston是什么_kingston是什么意思  安卓手机怎么打开5g  awful是什么意思  如何查看bash内置的命令  typescript为什么现在才火  楔子是什么意思  如何安装tree命令  单片机怎么储存和显示  三菱变频器POWER是什么意思  关系型数据库和非关系型数据库有哪些  ospf中交换机命令如何设置  8k是多少钱  汽车排量是什么意思  多少毫安的充电宝可以带上飞机  夸克是什么用途  春运抢票哪个平台好一点  typescript 如何使用  typescript和nodejs哪个好 

搜索