「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。

作为大数据领域超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。

根据他的观察，如今在各行各业企业内部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型能够利用的量级。拥有了这些来自各行各业内部高质量的数据，大模型可以在如今的基础上，大大提高准确性。

而关键问题就在于，怎样可以高效地开发这些数据？

大模型时代，语料的开发遇到了新的挑战。孙元浩分享称，目前企业内部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些专业数据还有较高的门槛。这对文件系统、知识库系统、语料开发系统等都提出了新的要求。

比如，面对数据量巨大的问题，对企业内部各种文档、PPT的处理，意味着存储和计算资源有更高的要求；在数据多样性方面，对于企业内部不同类型的文档，如媒体文章、政府公文、设计文档等，都需要用训练模型进行识别和解析，这就要求数据处理工具具备强大的多模态数据处理能力。

对于数据安全和隐私问题，在训练和推理的过程中，如何保证企业内部信息的保密与安全性，这对工具的安全把控也提出了新要求；专业数据标注人才问题方面，由于企业内部数据的处理往往是专业领域的标注，比如生物分子式或者专业金融术语，需要更专业的数据标注专家进行处理。

为了应对这些挑战，孙元浩分享了星环科技的一些尝试：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

1、升级大数据平台：对 Transwarp Data Hub 数据平台进行升级，使其能够处理更多元化的数据，包括大量的文档和小文件。通过重构源数据管理节点和增加 POSIX 接口，提高了文件系统的支持能力和数据存储效率。

2、增加 Python 接口：在 Data hub 上增加 Python 接口，并将 Python 语言和库进行分布式化，以便在处理语料时使用 Python 语言进行清洗。这有助于提高语料处理的效率和灵活性。

3、推出分布式 Python 引擎：针对语料量通常为几十 T、上百 T 的情况，推出分布式 Python 引擎，提高了处理海量语料的能力和效率。

4、优化向量数据库：对向量数据库进行升级，提高召回准确度和分布式性能，使其能够更好地支持大规模数据的处理和检索。

5、构建知识图谱：提供Transwarp Knowledge Studio for LLM知识工具来构建知识图谱，弥补向量召回的准确度不足。例如在设备维修场景中，将设备的故障数、归零报告等导入知识图谱，大模型在回答问题时可以在知识图谱上进行推理，从而提供更准确的答案。

6、开发语料开发工具：推出语料开发工具，包括语料的解析、分类、清洗、标注、增强等功能，以及从语料中构造问答对和安全测试集。用于自动化或半自动化地处理各种文档类型、语音视频，将其转化为可用于大模型训练的高质量语料。

7、提供大模型工具链：提供大模型整套工具链，包括从语料生成到模型训练、知识库构建、应用开发、智能体构建的一系列过程，以及调度算力的工具。这有助于提高大模型应用的构建效率和管理能力。

8、构建 AI 原生应用：推出无涯·问知和无涯·问数等 AI 原生应用，实现企业内部信息检索和数据分析，提高数据处理的效率和便捷性。

9、支持多种模型和数据源：支持第三方模型，无论是开源还是商用，以及多种数据源，包括个人知识库、企业知识库、财经类数据库、法律法规数据库等，提高数据处理的灵活性和适应性。

基于这些，企业可以直接上传多种类型的资料，产品将快速解析，形成企业自己的知识库。不过，将更多企业内部的数据开发释放并不是终点，孙元浩认为，提升语料质量是目前大模型在提升准确性上最大的挑战。

「现在模型结构大家都不是秘密了，训练方法也不是秘密了，只是没有语料。语料存在于各种地方，因为工作非常巨大，都是巨大的体力活，这是目前最大的挑战，不是之一，这是最大的挑战。」

千鹿Pr助手

智能Pr插件，融入众多AI功能和海量素材

128 查看详情

除此之外，在大模型落地实践中，孙元浩认为现阶段提升模型准确率的方法主要包括以下几种：

1、构建*知识库：将企业的资料、文章等解析出来放到知识库中，让大模型参考知识库的内容进行写作或分析，这是一种快速提升模型准确率的方法。

2、微调模型：通过对大模型进行微调，使其能够学习特定领域的知识和语言习惯，从而提高模型在该领域的准确率。

3、持续训练：对于金融等领域，需要持续地将大量的语料喂给大模型，以提高模型的精准度和回答金融问题的能力。

4、提供语料开发工具：开发语料开发工具，帮助企业整理和清洗语料，将其转化为适合大模型训练的格式，从而提高模型的准确率。

5、结合多种方法：可以将以上几种方法结合起来使用，如构建*知识库的同时，对模型进行微调或持续训练，以进一步提高模型的准确率。

孙元浩比喻道，过去一年一直讲大模型是个“文科生”，因为它能写作、生成；星环的目标是把大模型训练成一个理科生，希望它能做数学分析，能够懂自然科学的各个领域、各个学科。通过星环科技AI Infra工具，企业能够准确、高效地将拥有的多种来源的多模语料转换为高质量的专业领域知识，让企业构筑知识壁垒。

以上就是星环科技孙元浩：语料已经是大模型最大的挑战的详细内容，更多请关注其它相关文章！

# 星环科技  # python  # udio  # warp  # 神技  # 产业  # 广州seo公司推荐  # 无锡蠡湖seo外包  # 厦门关键词排名优化收费  # 网站推广销售简历怎样写  # 校园网站推广策略  # 普陀区百度网站优化  # 有必要学网站推广吗  # 设计网站建设昆明  # 网站建设与课程设计  # 临沂全网seo公司排名  # 将其  # 重构  # 开源  # 这是  # 高质量  # 使其  # 文档  # 开发工具  # 数据处理 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 2025年哪个局域网聊天软件好用  苹果16多有哪些功能  春运抢票最新技巧与方法  华为使用nfc功能是什么意思  夸克为什么会变小  显卡上面TYPE-C是什么接口  如何进入cmd命令行  征信信用不好如何恢复 征信信用不好如何恢复指南  solidworks打开IGS文件作图教程  汽车排量是什么意思  typescript掌握哪些可以做项目  如何安装固态硬盘win10  怎么自学typescript  夸克高考为什么不靠谱  春运抢票最好抢什么票啊  爱奇艺vip会员可以同时几个人用？  typescript全局配置放哪里  新买的固态硬盘如何查  eraser是什么意思  华为交换机 配置 如何复制命令行  5G类似微信的聊天软件有哪些  夸克转存中是什么意思  tft单片机怎么写彩屏  电瓶车充电器power是什么意思  vivo怎么投屏到电视看爱奇艺教程  access 如何输入命令  春运抢票在哪儿抢票  固态硬盘如何下载网页  台达变频器power灯是什么意思  望远镜上power是什么意思  交管12123协议头是什么  j*a中如何创建列表数组  ssd固态硬盘如何安装  j*a怎么保存到数组  固态硬盘如何外接  空调控制面板power灯一直亮是什么意思  如何用命令提示符显示隐藏分区  typescript怎么写游戏  市盈率ttm市盈动静是什么意思  j*a怎么声明byte数组  光刻机的分类及特点  市盈率静是什么意思  win7怎么装扫描仪  如何发挥固态硬盘性能  单片机怎么进行排序操作  一年多少周  单片机怎么定义字符长度  typescript中如何引入本地js  春运抢票需要抢几天  为什么youtube音乐打不开