新闻中心

Docker三分钟搞定LLama3开源大模型本地部署

2024-04-26
浏览次数:
返回列表

概述

llama-3(large language model meta ai 3)是由meta公司开发的大型开源生成式人工智能模型。它在模型结构上与前一代llama-2相比没有大的变动。

LLaMA-3模型分为不同规模的版本,包括小型、中型和大型,以适应不同的应用需求和计算资源。小型模型参参数规模为8B,中型模型参参数规模为70B,而大型模型参参数规模则达到400B。然而在训练中,目标是实现多模态、多语言的功能,预计结果将与GPT 4/GPT 4V相当。

安装 Ollama

Ollama 是一个开源的大型语言模型(LLM)服务工具,它允许用户在本地机器上运行和部署大型语言模型。Ollama 设计为一个框架,在简化在 Docker 容器中部署和管理大型语言模型的过程,使得这一过程变得简单快捷。用户可以通过简单的命令行操作,快速在本地运行如 Llama 3 这样的开源大型语言模型。

官网地址:https://ollama.com/download

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Docker三分钟搞定LLama3开源大模型本地部署图片

Ollama是一个支持多种平台的工具,包括Mac和Linux,并提供了Docker镜像以简化安装过程。用户可以通过编写Modelfile来导入和自定义更多的模型,这类似于Dockerfile的作用。Ollama还具备一个REST API,用于运行和管理模型,以及一个用于模型交互的命令行工具集。

Ollama服务启动日志

Docker三分钟搞定LLama3开源大模型本地部署图片

模型管理

下载模型

ollama pull llama3:8b

默认下载的是llama3:8b。这里冒号前面代表模型名称,冒号后面代表tag,可以从这里查看llama3的所有tag

Docker三分钟搞定LLama3开源大模型本地部署图片

模型测试

注意:如果想让模型中文回复,请先输入:你好!请中文回复

Docker三分钟搞定LLama3开源大模型本地部署图片

配置Open-WebUI

在CPU下运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Docker三分钟搞定LLama3开源大模型本地部署图片

访问

输入地址 http://127.0.0.1:3000 进行访问

Docker三分钟搞定LLama3开源大模型本地部署图片

初次访问需要注册,这里我注册一个账号,注册完成登录成功

千鹿Pr助手 千鹿Pr助手

智能Pr插件,融入众多AI功能和海量素材

千鹿Pr助手 128 查看详情 千鹿Pr助手

Docker三分钟搞定LLama3开源大模型本地部署图片

切换中文语言

Docker三分钟搞定LLama3开源大模型本地部署图片

下载llama3:8b模型

llama3:8b

Docker三分钟搞定LLama3开源大模型本地部署图片

下载完成

Docker三分钟搞定LLama3开源大模型本地部署图片

使用

选择模型

Docker三分钟搞定LLama3开源大模型本地部署图片

使用模型

Docker三分钟搞定LLama3开源大模型本地部署图片

注意:如果想让模型中文回复,请先输入:你好!请中文回复

Docker三分钟搞定LLama3开源大模型本地部署图片

内存

Docker三分钟搞定LLama3开源大模型本地部署图片

以上就是Docker三分钟搞定LLama3开源大模型本地部署的详细内容,更多请关注其它相关文章!


# 模型  # 想让  # 沈阳seo优化服务  # 北海做推广网站  # 沧州seo优化排名价格  # 肥乡建设网站价格低  # 旅游网站建设与优化推广  # 网站建设制x  # 宜昌网站建设工具公司  # seo费用报销  # 营销推广皮带怎么做  # 弹个车营销推广  # 命令行  # 可直接  # 新能源  # 可以通过  # 请先  # 日韩  # 是一个  # 省电  # 开源  # llama  # linux  # llama3  # docker 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 如何学好typescript  苹果16粉色还有哪些机型  怎么关360壁纸广告  笔记本电脑多少钱  为什么有的夸克带电  单片机怎么储存和显示  win7怎么装扫描仪  交管12123协议头不完整怎么弄  typescript如何标记私有方法  手机nfc功能功能是什么意思  手机的nfc是什么功能是什么意思  ping命令如何看问题  个人征信不好如何恢复 个人征信不良的全面修复指南  ai如何重复使用上一命令  苹果16充电方式有哪些  苹果16系统多了哪些  新的固态硬盘如何分区  得物怎样降低手续费 得物如何降低手续费教程  固态硬盘如何测试好坏  宵衣旰食是什么意思  如何安装tree命令  什么是域名解析 域名解析中采用了什么  为什么都用typescript  电脑命令如何删除账号  怎么看手机是不是双模5g手机  固态硬盘质量如何  高市盈率是什么意思  启辰星power标志是什么意思  华为的nfc功能是什么意思  折叠屏有哪些手机  阿里云盘修复工具怎么用  春运辅助抢票怎么抢  华为如何面对苹果16  j*a怎么求数组均值  商誉是什么意思  typescript与es6学哪个  按键精灵datediff函数怎么用 如何使用按键精灵中的Datediff函数教程  51单片机怎么用flash  360f4怎么取消百变壁纸  苹果16系统有哪些系列  debian和ubuntu命令一样吗  华为使用nfc功能是什么意思  怎么更新typescript  typescript如何生成uuid  单片机串口接收怎么实现  折叠屏手机哪个有性价比  阿里云盘扩容工具怎么用  为什么夸克网盘下载不了  openwrt有哪些功能  位置控制单片机怎么用的 

搜索