☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

编译 | 星璇

出品 | 51CTO技术栈（微信号：blog51cto）

在过去的两年里，我更多地参与了使用大型语言模型（LLMs）的生成AI项目，而非传统的系统。我开始怀念无服务器云计算。它们的应用范围广泛，从增强对话AI到为各行各业提供复杂的分析解决方案，以及其他许多功能。许多企业将这些模型部署在云平台上，因为公共云提供商已经提供了现成的生态系统，而且这是阻力最小的路径。然而，这并不便宜。

云还提供了其他好处，如可扩展性、效率和高级计算能力（按需提供GPU）。在公共云平台上部署LLM的过程有一些鲜为人知的秘密，它们可能会对成功或失败产生重大影响。也许是因为处理LLMs的AI专家并不多，也因为我们在这方面还没太多经验，我们的知识体系中存在很多空白。

让我们探讨三个在云上部署LLM时鲜为人知的“技巧”，也许你的AI工程师们也不知道。考虑到这些工程师的年薪往往超过30万美元，也许现在是时候考虑他们做这些事情的细节了。我看到每个人都像头发发着火一样奔向生成为AI，但犯的错误比以往任何时候都多。

1.管理成本效益和可扩展性

云平台部署LLMs的主要吸引力之一是能够够按需扩展资源。我们不需要成为优秀的容量规划师，因为云平台拥有我们只需要点击鼠标或自动分配的资源。

然而，等待，我们即将犯下当初使用云计算时犯下的同样错误。在扩展的同时管理成本是一项技能，许多人需要在这方面获得帮助以进行有效导航。请注意，云服务通常根据消耗的计算资源收费；他们就像公共事业一样运作。处理得越多，付费就越多。考虑到GPU的成本更高（且耗电量更大），这是使用公共云提供商提供的LLMs时的核心关注点。

请确保您使用成本管理工具，包括云平台提供的工具和可靠的第三方成本治理和监控服务商（finops）提供的工具。例如，实施自动扩展和调度、选择合适的实例类型或使用抢占式实例来优化成本。此外，请记得持续监控部署情况，根据使用情况而不是仅根据预测负载调整资源。这意味着不惜一切代价避免过度配置（明白我这里的双关了吗？）。

2.多租户环境中的数据隐私

部署LLMs通常涉及处理大量数据和训练经过的知识模型，这些可能包含敏感或专有数据。使用公共云的风险在于，你的“邻居”是以处理实例的形式存在，它们在同一物理硬件上运行。因此，公共云确实存储在这样的风险：在数据存储和处理过程中，数据可能会被公共云数据中心中同一物理硬件上运行的其他虚拟机访问。 为了解决这个问题，许多公共云提供商提供了面向企业的云安全选项。这些选项提供了物理硬件上运行的其他虚拟机访问你的数据的隔离和保护。 另一个安全问题是数据在存储和处理过程中的传输。数据可能会通过公共云网络传输，这意味着在传输过程中可能会被截取或窃听。为了解决这个问题，公共云通常提供了加密和安全传输协议来保护数据在传输过程中的安全性。 总的来说，部署LLMs

如果你询问公共云提供商有关此问题，他们会急忙拿出最新的PowerPoint演示文稿，展示这是不可能的。虽然这主要是真的，但并不完全准确。所有多租户系统都存在这种风险；你需要加以缓解。我发现，云提供商的规模越小，比如那些仅在单一国家运营的云提供商，这种问题出现的可能性就越大。这适用于数据存储和LLMs。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

秘诀在于选择符合严格安全标准并能提供证明的云提供商：静止和传输中的数据加密、身份和访问管理（IAM）以及隔离策略。当然，更好的做法是你实施自己的安全策略和安全技术栈，以确保在云上使用多租户LLMs的风险较低。

3.处理有状态模型部署

大型语言模型（LLMs）大多数都是有状态的，这意味着它们会在一次交互到下一次交互之间保留信息。这个旧方法提供了新的好处：即在持续学习场景中提高效率的能力。然而，在云环境中管理这些模型的有状态性是有挑战性的，因为云环境中的实例可能是按设计短暂或无状态的。

支持有状态部署的编排工具（如 Kubernetes）是有帮助的。它们可以为大型语言模型利用持久性存储选项，并配置为跨会话维护和操作其状态。为了支持大型语言模型的连续性和性能，您需要这样做。

随着生成式人工智能的爆炸式增长，在云平台上部署大型语言模型已成定局。对于大多数企业来说，不使用云实在是太不方便了。我对接下来这股狂热的担忧是，我们会错过一些容易解决的问题，并会犯下巨大而昂贵的错误，而这些错误在最终大多是可以避免的。

想了解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/

以上就是云端部署大模型的三个秘密的详细内容，更多请关注其它相关文章！

# 云端  # llms  # 安全传输  # 这是  # 是有  # 语言模型  # 平台上  # 健康咨询网站seo  # 深圳网站seo关键词优化排名  # seo专业技能怎么写  # 网站平台做推广违法吗  # 蚌埠医院网站建设  # 江西seo优化热线  # 门窗网站建设海报素材  # 汉中网站推广教程  # 淮滨网站推广费用  # 解决这个问题  # 开源  # 这意味着  # 越多  # 考虑到  # 在这  # 过程中  # 重庆美食小吃网站建设 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： typescript怎么使用vue  vue中datediff函数怎么用  typescript有什么框架  苹果16有哪些bug  开机如何运行dos命令提示符  360n5锁屏壁纸怎么设置  typescript学会要多久  为什么要出折叠屏手机  win7怎么关闭360壁纸屏保  手机拍电脑屏幕有条纹怎么解决  linux命令行如何使用中文输入法  python和typescript学哪个  adb 命令如何后台运行  分享一个稳定的ao3镜像网址  命令行如何打开文件  万能表上的power是什么意思  单片机怎么加死循环  win10电脑如何使用命令提示符  如何判断固态硬盘端口  如何更新typescript  react怎么使用 typescript  新固态硬盘如何装系统  一年多少周  树莓派命令行如何新建文件  j*a怎么把数组输出  如何提高import命令的性能  市盈率当中17A 18E是什么意思  j*a中如何创建列表数组  导航power在汽车上是什么意思  单片机的速度怎么求  命令行如何运行c  夸克高考为什么不靠谱  typescript怎么添加css样式  如何编写一个linux命令  什么是unix时间戳  typescript如何开发  苹果16都有哪些亮点  如何进入 dos 命令行  新版路由器如何设置路由命令  开机如何进入命令行模式  typescript和node学哪个  电信开通nfc功能是什么意思  哪些编程软件需要typescript  excel中datediff函数怎么用  如何安装大华固态硬盘  交管12123协议头不完整是啥意思  制冰机power1灯亮是什么意思  如何通过dos命令  mac如何使用vi命令  税负是什么意思