LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

本地部署DeepSeek

freeflydom
2025年2月5日 9:34 本文热度 64

方案

本地化方案非常简单:Ollama + DeepSeek-R1 + Enchanted LLM 。

Ollama

Ollama 是一个用于在本地运行大型语言模型(LLMs)的工具,支持多种开源模型,如 Llama 2、Code Llama、Mistral 等。它简化了模型下载、配置和运行的过程,用户可以通过命令行轻松管理模型。使用起来颇有docker的感觉,pull、run、ps...。安装也简单,选择对于系统,下载安装就妥了。

DeepSeek-R1

在Ollama的网站上(https://ollama.com/)Models页面当前排名第一的就是DeepSeek-R1,点进去选择对应的版本,右边会展示对应的ollama 命令,复制命令粘贴到命令行工具中执行即可。如图:

这种高端操作一帆风顺貌似不太合理,所以我也遇到点问题。不同的版本大小差异会比较大,第一个上手的是70b这个版本,总大小43GB。en~下了两个小时左右,终于好了,正准备见证奇迹的时候,ollama抛出这样一个提示:ollama Error: Post "http://127.0.0.1:11434/api/show": read tcp 127.0.0.1:57953->127.0.0.1:11434: read: connection reset by peer 。后来问了DeepSeek,它思考了半天,它告诉我The server is busy. Please try again later. 最后它让我检查服务状态、端口占用、防火墙、Ollama版本......一顿操作之后突然想起了ollama ps这个命令,一看傻眼了,啥都没有。突然明白是模型没运行起来,估计是电脑配置不够,70b这个版本高攀不起。于是开始尝试1.5b这个版本,一切顺利,可以通过控制台进行对话了。让它用React实现一个tab组件,好家伙给了我十几个方案,果断换下一个版本。于是选择了32b这个版本,20GB竟然成功跑起来了。

Enchanted

控制台对话终究没有UI方便,在Ollama README上列举了大量UI工具,如Open WebUI、Enchanted、Hollama、Lollms-Webui.... 因为本地是MacOs,这里选择的是EnchantedEnchanted是MacOs下的一个App,也支持IOS和Vision Pro,在AppStore上下载安装即可。Enchanted配置非常简单,填写本地服务地址(Ollama本地服务是: localhost:11434)选择对应模型版本即可。至此本地化就完成了。最后附上纪念照:

转自https://www.cnblogs.com/aser1989/p/18697164


该文章在 2025/2/5 9:36:50 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2025 ClickSun All Rights Reserved