今天我想分享一个最新的研究工作，这项研究来自康涅狄格大学，提出了一种将时间序列数据与自然语言处理（nlp）大模型在隐空间上对齐的方法，以提高时间序列预测的效果。这一方法的关键在于利用隐空间提示（prompt）来增强时间序列预测的准确性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文标题：S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

下载地址：https://www.php.cn/link/3695d85c350d924e662ea2cd3b760d40

1、问题背景

大模型在时间序列上的应用越来越多，主要分为两类：第一类使用各类时间序列数据训练一个时间序列领域自己的大模型；第二类直接使用NLP领域训练好的文本大模型应用到时间序列中。由于时间序列不同于图像、文本，不同数据集的输入格式不同、分布不同，且存在distribution shift等问题，导致使用所有时间序列数据训练统一的模型比较困难。因此，越来越多的工作开始尝试如何直接使用NLP大模型解决时间序列相关问题。

本文还关注第二种解决时间序列问题的方法，即利用NLP大模型。目前的做法通常使用时间序列的描述作为提示，但并非所有时间序列数据集都包含这种信息。此外，基于patch的时间序列数据处理方法也无法完全保留时间序列数据的所有信息。

基于上述问题，这篇文章提出了一种新的建模方法，核心建模思路，一方面将时间序列通过tokenize处理后映射成embedding，另一方面将这些时间序列空间的表征对齐到大模型中的word embedding上。通过这种方式，让时间序列的预测过程中，可以找到对齐的word embedding相关的信息作为prompt，提升预测效果。

图片

2、实现方法

下面从数据处理、隐空间对齐、模型细节等3个方面介绍一下这篇工作的实现方法。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

数据处理：由于时间序列的distribution shift等问题，本文对输入序列做了一步趋势项季节项分解。每个分解后的时间序列，都单独做标准化，然后分割成有重叠的patch。每一组patch对应趋势项patch、季节项patch、残差patch，将这3组patch拼接到一起，输入到MLP中，得到每组patch的基础embedding表征。

隐空间对齐：这是本文中最核心的一步。Prompt的设计对大模型的效果影响很大，而时间序列的prompt又难以设计。因此本文提出，将时间序列的patch表征和大模型的word embedding在隐空间对齐，然后检索出topK的word embedding，作为隐式的prompt。具体做法为，使用上一步生成的patch embedding，和语言模型中的word embedding计算余弦相似度，选择topK的word embedding，再将这些word embedding作为prompt，拼接到时间序列patch embedding的前方。由于大模型word embedding大多，为了减少计算量，先对word embedding做了一步映射，映射到数量很少的聚类中心上。

模型细节：在模型细节上，使用GPT2作为语言模型部分，除了position embedding和layer normalization部分的参数外，其余的都冻结住。优化目标除了MSE外，还引入patch embedding和检索出的topK cluster embedding的相似度作为约束，要求二者之间的距离越小越好。最终的预测结果，也是

图片

3、实验效果

文中对比了和一些时间序列大模型、iTransformer、PatchTST等SOTA模型的效果，在大部分数据集的不同时间窗口的预测中都取得了比较好的效果提升。

图片

同时，文中也通过t-SNE可视化分析了embedding，从图中可以看出，时间序列的embedding在对齐之前并没有明显的类簇现象，而通过prompt生成的embedding有明显的类簇变化，说明本文提出的方法有效的利用文本和时间序列的空间对齐，以及相应的prompt，提升时间序列表征的质量。

图片

以上就是时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt的详细内容，更多请关注其它相关文章！

# 时间序列  # 铁岭seo推广如何营销  # 唐山网站建设官网  # 邕宁区网站推广  # 惠水优化seo  # 南平抖音seo优化公司  # 外贸seo网站定制  # 政和专业seo联系方式  # 优化网站公司话术  # 网站优化文章注意什么  # 这是  # 参数设置  # 结构化  # 自己的  # 开源  # 康涅狄格  # 提出了  # 数据处理  # 隐式  # 自动生成  # follow  # prompt  # 模型  # 新郑外贸网站建设代理 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 单片机的速度怎么求  跑步机power键是什么意思  阿里云盘共享账户怎么用  win10如何开启命令行  台机如何安装固态硬盘  如何通过dos命令  苹果16系统有哪些系列  如何去除计算器的命令  夸克链信有什么用  固态硬盘如何安装win10系统安装  kingston是什么_kingston是什么意思  三星固态硬盘如何安装  solidworks打开IGS文件作图教程  linux如何切换到命令行模式  虚拟机如何用命令清除垃圾  如何通过命令行聊天  树莓派命令行如何新建文件  video是什么意思  a股等权市盈率中位数是什么意思  为什么程序员热爱typescript  春运抢票还用取票吗  put linux命令如何书写  光刻机的分类及特点  vb中的datediff函数怎么用 ​VB中的DateDiff函数：详尽指南  一帧是多少秒  awful是什么意思  怎么自学typescript  51单片机怎么用flash  如何查看固态硬盘分区  苹果16哪些功能好用  春运抢票软件哪个好  8寸照片尺寸多少厘米  手机拍电脑屏幕有条纹怎么解决  每日推荐电声音乐软件有哪些  夸克的答案为什么不对  苹果16promax有哪些颜色  春运预约抢票能抢到吗  苹果16都有哪些型号  苹果16有哪些可以设置  轩逸e-power挡位b是什么意思  如何在命令行写j*a程序  苹果16粉色还有哪些机型  typescript怎么写react  vi命令如何退出  mac如何使用vi命令行  typescript要用什么工具  j*a数组对象怎么取  光猫power灯一直闪是什么意思  j*a怎么读取char数组  苹果16系统有哪些功能