办公新利器:DeepSeek+Word,让你的工作更高效_deepseek接入word-CSDN博客

mikel阅读(249)

来源: 办公新利器:DeepSeek+Word,让你的工作更高效_deepseek接入word-CSDN博客\

DeepSeek与Word的梦幻联动,将为你开启高效办公的新篇章!熟悉的Word界面中,只需轻点鼠标,就能召唤出强大的DeepSeek,让它为你快速检索信息、精准翻译文本、智能生成内容…… 告别在不同软件间来回切换的繁琐,告别低效的信息获取方式,让办公效率飞起来!

 

1.效果演示
按照文本教程完成操作后,Word的选项卡中将会出现DeepSeek的生成图标,选中文本并点击生成,即可实现模型回复!例如,我们想要将一段中文文本翻译成英文:

 

 

接下来我将详细介绍,如何实现DeepSeek与Word的结合。

2.获取API key
API key的获取教程可以参照我之前的之一篇文章,在获取API key之后,回到这里。

PyCharm接入DeepSeek实现AI编程-CSDN博客
https://blog.csdn.net/qq_63708623/article/details/145370942?spm=1001.2014.3001.5501

3.配置Word
3.1 开发者工具的配置
新建一个Word文档,点击 文件 -> 选项 -> 自定义功能区,勾选“开发者工具”。

 

点击 信任中心 -> 信任中心设置,选择“启用所有宏”与“信任对VBA……”。

 

接下来点击确定,我们发现选项卡中出现了“开发者工具”,点击开发者工具,点击Visual Basic,将会弹出一个窗口。

 

3.2 复制代码
我们点击新窗口中的插入,点击模块。

 

点击后将会弹出一个编辑器,我们把如下代码复制到编辑区中。注意不要忘记替换你自己的API key。

Function CallDeepSeekAPI(api_key As String, inputText As String) As String
Dim API As String
Dim SendTxt As String
Dim Http As Object
Dim status_code As Integer
Dim response As String

API = “https://api.deepseek.com/chat/completions”
SendTxt = “{“”model””: “”deepseek-chat””, “”messages””: [{“”role””:””system””, “”content””:””You are a Word assistant””}, {“”role””:””user””, “”content””:””” & inputText & “””}], “”stream””: false}”

Set Http = CreateObject(“MSXML2.XMLHTTP”)
With Http
.Open “POST”, API, False
.setRequestHeader “Content-Type”, “application/json”
.setRequestHeader “Authorization”, “Bearer ” & api_key
.send SendTxt
status_code = .Status
response = .responseText
End With

‘ 弹出窗口显示 API 响应(调试用)
‘ MsgBox “API Response: ” & response, vbInformation, “Debug Info”

If status_code = 200 Then
CallDeepSeekAPI = response
Else
CallDeepSeekAPI = “Error: ” & status_code & ” – ” & response
End If

Set Http = Nothing
End Function

Sub DeepSeekV3()
Dim api_key As String
Dim inputText As String
Dim response As String
Dim regex As Object
Dim matches As Object
Dim originalSelection As Object

api_key = “替换为你的api key”
If api_key = “” Then
MsgBox “Please enter the API key.”
Exit Sub
ElseIf Selection.Type <> wdSelectionNormal Then
MsgBox “Please select text.”
Exit Sub
End If

‘ 保存原始选中的文本
Set originalSelection = Selection.Range.Duplicate

inputText = Replace(Replace(Replace(Replace(Replace(Selection.text, “\”, “\\”), vbCrLf, “”), vbCr, “”), vbLf, “”), Chr(34), “\”””)
response = CallDeepSeekAPI(api_key, inputText)

If Left(response, 5) <> “Error” Then
Set regex = CreateObject(“VBScript.RegExp”)
With regex
.Global = True
.MultiLine = True
.IgnoreCase = False
.Pattern = “””content””:””(.*?)”””
End With
Set matches = regex.Execute(response)
If matches.Count > 0 Then
response = matches(0).SubMatches(0)
response = Replace(Replace(response, “”””, Chr(34)), “”””, Chr(34))

‘ 取消选中原始文本
Selection.Collapse Direction:=wdCollapseEnd

‘ 将内容插入到选中文字的下一行
Selection.TypeParagraph ‘ 插入新行
Selection.TypeText text:=response

‘ 将光标移回原来选中文本的末尾
originalSelection.Select
Else
MsgBox “Failed to parse API response.”, vbExclamation
End If
Else
MsgBox response, vbCritical
End If
End Sub

完成后,可直接关闭弹窗。

3.3 添加新组
点击 文件 -> 选项 -> 自定义功能区,右键开发工具,点击添加新组。

 

在添加的新建组点击右键,点击重命名。将其命名为DeepSeek,并选择心仪的图标,最后点击确定。

 

首先选择DeepSeek(自定义),选择左侧的命令为“宏”,找到我们添加的DeepSeekV3,选中后点击添加。

 

随后,选中添加的命令,右键点击重命名,选择开始符号作为图标,并重命名为“生成”。

 

最后点击确定。

至此,Word成功接入DeepSeek大模型。

4.效果测试
选中文字,点击生成,就可以直接将选中的文本发送给大模型,大模型将会按照你选中的文本,做出响应。

 

————————————————

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/qq_63708623/article/details/145418457

本地部署 DeepSeek:小白也能轻松搞定! - 程序员晓凡 - 博客园

mikel阅读(170)

来源: 本地部署 DeepSeek:小白也能轻松搞定! – 程序员晓凡 – 博客园

大家好,我是晓凡。

写在前面

最近DeepSeek太火了,以至于每个小伙伴都想试试。DeepSeek 的到来可谓是开启了全民AI热潮。

本以为DeepSeek本地化部署有多难,实际上验证后很简单,操作起来就像给电脑装个新软件那么简单,大约十多分钟可完成本地部署。

今天咱们来聊聊如何在自己的电脑上本地部署 DeepSeek-R1-1.5B 模型。

一、为啥要部署 DeepSeek-R1-1.5B?

在做的小伙伴可能跟我一样在使用DeepSeek时,经常遇到“服务器繁忙,请稍后再试。”

服务器繁忙,请稍后再试

先说说为啥我推荐这个版本吧。DeepSeek-R1-1.5B 是一个轻量级的模型,参数量只有 15 亿,听起来是不是很“迷你”?但别小瞧了它,这可是个“小而精”的家伙。它只需要 3GB 的显存就能运行,这意味着即使你的电脑配置不高,也能轻松驾驭它。而且,它在数学推理方面表现相当出色,甚至在某些基准测试中超过了 GPT-4o 和 Claude 3.5。当然了,如果你电脑配置更高,可以尝试其他版本。

二、DeepSeek 不同版本模型硬件要求

以下是 DeepSeek 不同版本模型的硬件要求,小伙伴们可以结合自己电脑配置选择版本

模型版本 参数量 显存需求(FP16) 推荐 GPU(单卡) 多卡支持 量化支持 适用场景
DeepSeek-R1-1.5B 15亿 3GB GTX 1650(4GB显存) 无需 支持 低资源设备部署(树莓派、旧款笔记本)、实时文本生成、嵌入式系统
DeepSeek-R1-7B 70亿 14GB RTX 3070/4060(8GB显存) 可选 支持 中等复杂度任务(文本摘要、翻译)、轻量级多轮对话系统
DeepSeek-R1-8B 80亿 16GB RTX 4070(12GB显存) 可选 支持 需更高精度的轻量级任务(代码生成、逻辑推理)
DeepSeek-R1-14B 140亿 32GB RTX 4090/A5000(16GB显存) 推荐 支持 企业级复杂任务(合同分析、报告生成)、长文本理解与生成
DeepSeek-R1-32B 320亿 64GB A100 40GB(24GB显存) 推荐 支持 高精度专业领域任务(医疗/法律咨询)、多模态任务预处理
DeepSeek-R1-70B 700亿 140GB 2x A100 80GB/4x RTX 4090(多卡并行) 必需 支持 科研机构/大型企业(金融预测、大规模数据分析)、高复杂度生成任务
DeepSeek-671B 6710亿 512GB+(单卡显存需求极高,通常需要多节点分布式训练) 8x A100/H100(服务器集群) 必需 支持 国家级/超大规模 AI 研究(气候建模、基因组分析)、通用人工智能(AGI)探索

三、晓凡硬件配置

  • CPU:AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
  • 内存:16GB
  • 操作系统:Windows 11
  • 硬盘空间:500G,剩余335G

    硬件配置信息

四、部署步骤

4.1 下载并安装Ollama

访问官网:https://ollama.com/ 下载

官网下载

或者直接到GitHub下载

GitHub下载

安装文件OllamaSetup.exe大约745MB。

注:如果下载过于缓慢可以使用迅雷之类的加速下载;(晓凡将软件打包放网盘了,有需要的小伙伴可在文章末尾自取)

双击OllamaSetup.exe进行安装:

双击安装

4.2 检验Ollama是否安装成功

命令行输入 ollama -v 命令,出现如下版本号说明安装成功

安装成功

4.3 通过 Ollama 拉取 DeepSeek 模型

这里我选择是的1.5b,整个模型大小1.1 GB

  • 1.5B:适用于轻量级任务,如边缘设备(如智能手表、物联网设备)上的简单交互、小型智能问答系统等。目前开源的最小版本。
  • 671B:主要用于大规模云端推理,适合科研分析、数据挖掘等需要处理海量数据的复杂任务。目前开源的最强版本

更多版本可以在这里查看:https://ollama.com/library/deepseek-r1 。

image-20250212233235760

命令行输入:ollama run deepseek-r1:1.5b 拉取DeepSeek模型

拉取deepseek模型

整个拉取过程还是比较丝滑的,5到6分钟后看到【success】字样,代表成功安装DeepSeek R1,然后就可以与DeepSeek对话了

image-20250212234222695

4.4 与DeepSeek对话

通过上面步骤之后,我们就可以愉快的与Deep Seek对话了,如输入:程序员如何避免35岁焦虑?

与DeepSeek对话

4.5 安装WebUI

使用命令提示符与DeepSeek对话并不友好,为了更好的体验,我们可以安装WebUI,这里使用的是浏览器插件:Page Assit

(如果小伙伴找不到在哪下载Page Assit插件,晓凡打包放网盘了,可在文章末尾自取)

启动ollama服务后,输入快捷键【ctrl + shift+L】快捷键即可打开WebUI页面

刚安装Page Assit 插件, 需要进行一下如下设置

WebUI设置

设置完成后,选择模型就可以与DeepSeek对话了

与对话

五、实际应用场景:DeepSeek-R1-1.5B 能干啥?

别看 DeepSeek-R1-1.5B 体积小,它可一点都不“弱”。它非常适合用在一些轻量级的任务上,比如:

  • 智能客服:在小型企业或者个人项目中,它可以快速回答客户的一些常见问题,提高服务效率。
  • 语言学习:你可以用它来练习语言表达,比如输入一个中文句子,让它生成英文翻译。
  • 创意写作:如果你是个作家或者文案策划,它可以帮你快速生成一些创意片段或者文案初稿

六、小结

小伙伴们,是不是觉得本地部署 DeepSeek-R1-1.5B 模型超简单?只要按照上面的步骤操作,你就能让自己的电脑拥有一个“智能助手”。

而且,这个模型不仅运行速度快,还能在很多场景中发挥大作用。快去试试吧!

DeepSeek本地部署相关软件下载:

通过网盘分享的文件:DeepSeek本地部署软件.zip
链接: https://pan.baidu.com/s/1gQp1hJ2cTisfcd0hJcO9gw?pwd=ip55 提取码: ip55

本期内容到这儿就结束了,希望对您有所帮助。

我们下期再见 ヾ(•ω•`)o (●’◡’●)

DeepSeek-R1本地部署如何选择适合你的版本?看这里 - kaizi1992 - 博客园

mikel阅读(162)

来源: DeepSeek-R1本地部署如何选择适合你的版本?看这里 – kaizi1992 – 博客园

DeepSeek-R1本地部署:选择最适合你的版本,轻松搞定!

 

 

关于本地部署DeepSeek-R1前期知识

如果你正在考虑将DeepSeek-R1部署到本地服务器上,了解每种类型的硬件需求是非常重要的。DeepSeek-R1是一个非常强大的语言模型,它有多个不同的版本,每个版本在计算资源和硬件要求上都有不同的需求。本文将帮助你理解每个版本的参数、所需硬件以及如何根据自己的需求选择合适的类型。

 

 

选择最合适你的版本

PS:本文是本地化部署DeepSeek系列教程第二篇。本系列共计4篇文章,最终,我们讲实操在Windows操作系统和Mac操作系统实现本地部署DeepSeek-R1大模型。

DeepSeek-R1的不同类型及含义

DeepSeek-R1有多个不同的类型,每个类型的名称后面跟着一个数字(比如1.5B、7B、14B等),这些数字代表模型的参数量。参数量直接决定了模型的计算能力和存储需求,数字越大,模型越强,但也需要更多的硬件资源。

什么是“B”?

在这些数字中,B代表“billion”(十亿),所以:

1.5B意味着该模型有15亿个参数

7B表示70亿个参数

8B表示80亿个参数

14B表示140亿个参数

32B表示320亿个参数

70B表示700亿个参数

671B表示6710亿个参数

这些模型的参数量越大,处理的数据和生成的内容就越复杂,但它们也需要更多的计算资源来运行。

每种类型的硬件需求

每个模型的计算和存储需求都有所不同,下面我们列出了DeepSeek-R1的各个型号,并给出了所需的硬件配置。根据不同的使用需求,选择合适的模型可以帮助你节省成本,同时提升部署效率。

DeepSeek-R1类型信息表格

 

 

R1不同版本模型大小

各类型模型的硬件需求总结

根据你选择的型号,硬件需求会有所不同。以下是每个模型的大致硬件要求:

1.5B(1.1GB):

CPU:普通的四核或六核处理器即可。

显卡:中等性能显卡,如NVIDIA GTX 1650或RTX 2060。

内存:16GB RAM。

磁盘空间:至少50GB空闲空间。

7B(4.7GB):

CPU:6核或8核处理器。

显卡:NVIDIA RTX 3060或更强显卡。

内存:32GB RAM。

磁盘空间:至少100GB空闲空间。

8B(4.9GB):

CPU:6核或8核处理器。

显卡:NVIDIA RTX 3060或更强显卡。

内存:32GB RAM。

磁盘空间:至少100GB空闲空间。

14B(9GB):

CPU:8核以上处理器,如Intel i9或AMD Ryzen 9。

显卡:NVIDIA RTX 3080或更强。

内存:64GB RAM。

磁盘空间:至少200GB空闲空间。

32B(20GB):

CPU:8核以上处理器。

显卡:NVIDIA RTX 3090、A100或V100显卡。

内存:128GB RAM。

磁盘空间:至少500GB空闲空间。

70B(43GB):

CPU:12核以上处理器,推荐使用高端Intel或AMD处理器。

显卡:NVIDIA A100、V100显卡,甚至需要多个显卡配置。

内存:128GB RAM。

磁盘空间:至少1TB空闲空间。

671B(404GB):

CPU:高性能、多核CPU,建议多台服务器配置。

显卡:NVIDIA A100或多个V100显卡,甚至需要集群支持。

内存:至少512GB RAM。

磁盘空间:至少2TB空闲空间。

各模型硬件需求如下表:

 

 

各模型对比

说明:

CPU:随着模型参数量的增加,CPU的核心数要求也逐渐增加。高端多核处理器有助于减少计算瓶颈,尤其在大模型推理时。

显卡:随着模型规模的增大,对显卡的要求也越来越高。GPU的显存和计算能力成为关键。如果单卡显存不够,可能需要多个显卡联合工作。

内存:内存不仅仅用于存储模型参数,还需要为计算过程中的中间结果、缓存等分配足够空间。大模型尤其对内存的需求大,超过32GB的模型在内存方面会有较大压力。

磁盘空间:磁盘空间是根据模型的大小和推理过程中的临时数据存储需求计算的。尤其对于大型模型,在存储和加载数据时需要更多的空间。

注意:

这些硬件需求是针对 推理 场景进行估算的,如果是 训练,硬件需求会更高,特别是在GPU和内存方面。

实际硬件需求还取决于模型优化方法、量化技术、分布式计算和云服务等因素,可能会有所不同。

每个参数需要多少字节?

一般来说,DeepSeek-R1模型中的每个参数占用4个字节(32位)。这个值相对固定,常用于大多数深度学习模型。通过这个假设,我们可以计算出每个版本大致需要多少内存。

计算方法:

每个参数需要4字节

假设某个模型有70亿个参数(即70B模型)

所以,内存需求 = 70亿个参数 × 4字节/参数 = 28GB

 

 

不同模型需要内存大小

疑问:7B或者8B是阉割版本吗?

在DeepSeek-r1中,1.5B、7B、8B模型分别指的是模型的参数数量:1.5B代表15亿个参数,7B代表70亿个参数,8B代表80亿个参数。这些参数数量直接影响模型的计算能力和所需的存储空间。

1.5B模型是较小的版本,计算能力较弱,但占用的内存和存储空间较小,适合对硬件要求不高的场景。

7B和8B是更强大的版本,参数更多,计算能力更强,因此模型的推理能力和生成质量也更高。

7B不是阉割版,它只是相对于8B而言,参数数量稍少,因此它的计算能力和生成效果可能略差,但并不意味着它比8B“功能不全”或者“缩水”,只是在计算能力上有所差距。

如果你对推理速度和资源占用有较高的要求,选择1.5B会更合适。如果你希望模型生成质量更高,可能更倾向于7B或8B。不过,性能差距主要体现在任务的复杂性和精度上。

下面是每个版本的计算能力和生成质量的详细比较:

 

 

各个版本之间计算能力及生产能力对比

详细比较:

1.5B (15亿参数)

主要功能:适合基础的文本处理、情感分析、简单对话生成等。

与上一个版本的计算能力比较:没有前一个版本可比,作为最小模型,计算能力最弱。

与上一个版本的生成质量比较:同理,生成质量最低,文本较为简单和粗糙。

7B (70亿参数)

主要功能:能够处理多领域应用,如问答系统、对话生成、基本文本总结。

与上一个版本的计算能力比较:相比1.5B,计算能力提升了 367%,推理能力增强,能处理更多复杂任务。

与上一个版本的生成质量比较:相比1.5B,生成质量提升 60%,文本更自然,理解上下文能力增强。

8B (80亿参数)

主要功能:适用于高质量对话生成、短文本总结、复杂问题解答等。

与上一个版本的计算能力比较:相比7B,计算能力提升 14%,推理能力有所增强,但增幅较小。

与上一个版本的生成质量比较:相比7B,生成质量提升 20%,生成的文本更加自然、准确,适应更复杂的语境。

14B (140亿参数)

主要功能:高级语言理解、长篇文本生成、高级推理等任务。

与上一个版本的计算能力比较:相比8B,计算能力提升 75%,能够处理更复杂的语境和任务。

与上一个版本的生成质量比较:相比8B,生成质量提升 30%,长篇生成更连贯、自然,文本质量大幅提升。

32B (320亿参数)

主要功能:适合复杂推理任务、高级写作、长篇对话生成等。

与上一个版本的计算能力比较:相比14B,计算能力提升 129%,可以处理更多复杂任务。

与上一个版本的生成质量比较:相比14B,生成质量提升 40%,文本质量接近人工水平,适合高级写作和深度理解。

70B (700亿参数)

主要功能:深度语义理解、创意写作、多模态推理等高端应用。

与上一个版本的计算能力比较:相比32B,计算能力提升 119%,能够处理更加复杂的推理和生成任务。

与上一个版本的生成质量比较:相比32B,生成质量提升 50%,文本质量更加精细,几乎无明显错误,适用于创意和高精度任务。

671B (6710亿参数)

主要功能:超高精度推理、大规模内容生成、跨领域深度理解等任务。

与上一个版本的计算能力比较:相比70B,计算能力提升 860%,能够处理极为复杂的推理任务和大规模内容生成。

与上一个版本的生成质量比较:相比70B,生成质量提升 100%,文本生成几乎完美,几乎没有语境偏差,适用于最复杂的任务。

总结:

计算能力:从1.5B到671B,每个版本相对于前一个版本的计算能力都有显著提升,尤其是从 70B 到 671B,计算能力的大幅度提升说明了超大模型在推理复杂性上的巨大优势。

生成质量:生成质量从 1.5B 到 671B 逐步提升,每个新版本生成的文本更加自然、流畅,能够处理更复杂的上下文和细节。尤其是 70B 和 671B 版本的文本生成已经达到了极高水平,几乎可以媲美人工写作。

如何选择合适的型号?

选择哪种类型的DeepSeek-R1模型取决于你的应用场景以及硬件配置。如果你只是进行简单的文本处理、学习或小型项目,1.5B和7B可能就足够了。如果你的需求是生成高质量的文本,或者做大规模的数据处理,14B和更高的型号可能更适合。对于科研或者企业级应用,32B、70B甚至671B的型号能提供超高的性能和处理能力。

总结

不同型号的DeepSeek-R1:每个型号的参数数量和存储需求不同,越大的型号需要的硬件配置越高,处理能力也越强。

硬件配置:选择合适的型号时,需要考虑自己的硬件配置。例如,1.5B模型对硬件要求较低,而70B和671B则需要非常强大的计算资源。

估算内存需求:一般来说,每个参数占用4字节,通过参数数量和字节数可以粗略估算每个模型的内存需求。

我把deepseek等大模型接入了微信公众号,打造个人AI助手 - 程序员博博 - 博客园

mikel阅读(163)

来源: 我把deepseek等大模型接入了微信公众号,打造个人AI助手 – 程序员博博 – 博客园

前言

最近deepseek大模型可是火出了圈,给国产大模型公司点赞。于是乎去deepseek试了一下效果,奈何太多人使用了,问两句来一句 “服务器繁忙,请稍后再试”,体验感实在太差了。

作为程序员,怎么能忍受?于是乎去寻找deepseek供应商,对比了下常用的供应商,比如阿里百炼的通义、字节火山的豆包、腾讯的混元、fireworks、together等等。发现其中还真有不少好用且稳定的供应商。

于是萌生了接入微信公众号,自己独享,速度快的起飞。直接在微信上使用,岂不美滋滋,说干就干。

cow项目

chatgpt-on-wechat(简称CoW),项目地址如下:cow

CoW开源项目,支持将deepseek、OpenAI、通义、豆包、文心一言等大模型接入到我们的办公工具上面,包括但不限于微信公众号、飞书、钉钉等

1、提前准备

  1. 你需要登录deepseek官网(或者其他提供商)获取你自己的专属API-KEYS
  2. 登录公众号后台,“在左侧菜单选择 “设置与开发 – 基本配置 – 服务器配置”获取你专属的url、token等信息

以上信息请提前准备好

2、配置cow项目

  1. 克隆项目到自己服务器上面,可以使用linux部署,也可以使用docker部署
  2. pip3 install -r requirements.txt (请使用python3.8+版本)
  3. 打开config.json配置文件,把刚才准备好的密钥填进来
{
  "channel_type": "wechatmp",
  "model": "你的大模型,可以是deepseek,也可以是qwen等等",
  "open_ai_api_key": "apikey",
  "open_ai_api_base": "https://api.deepseek.com/v1",
  "single_chat_prefix": [""],
  "single_chat_reply_prefix": "",

  "wechatmp_app_id": "wx6e**********0b5",
  "wechatmp_app_secret": "a204ce**********a12007a5",
  "wechatmp_token": "保持和公众号一致即可",
  "wechatmp_aes_key": "Hego**************2VeCc8875",
  "wechatmp_port": 8080,

  "clear_memory_commands": ["#清除记忆"],
  "conversation_max_tokens": 1000,
  "expires_in_seconds": 3600,
  "character_desc": "你是基于大语言模型的AI智能助手,旨在回答并解决人们的任何问题,并且可以使用多种语言与人交流。",
  "temperature": 0.8,
  "subscribe_msg": "感谢您的关注!\n程序员博博公众号已接入DeepSeek-V3、阿里qwen-max等模型,可以自由对话。\n受微信限制,较长的输出会先回复一句【正在思考中】,等待片刻后发送任意文字即可获取输出。如需清楚记忆,请回复:#清除记忆",
  "use_linkai": false
}
  1. 然后使用python3 app.py, 启动项目即可。
  2. 如果以上都没问题,那么恭喜你,你的公众号现在已经拥有deepseek大模型的能力,愉快的玩耍吧。
  3. 如果遇到了问题,请参考cow的官方文档

3、最终效果

这里我尝试了一下deepseek、qwen、文心一言等。发觉qwen是比较稳定快速的,所以最终我接入了阿里的qwen大模型

最后

最后,微信公众号接入了deepseek等大模型,非常的好用,可以成为自己的AI小助手,有问题,直接在微信上问他即可,非常的方便,专属于你的小助手。

也希望大家有条件可以尝试接入一下,接入的过程中肯定会遇到各种各样的奇葩问题,但大家一一解决的过程就是成长,我差不多利用下班时间2天搞定了。

.NET适配HarmonyOS进展 - 布布(CeSun) - 博客园

mikel阅读(171)

来源: .NET适配HarmonyOS进展 – 布布(CeSun) – 博客园

1. 前言
目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Conf CN上分享过,目前又取得一点进展,所以本文把所有问题进行整合与大家进行分享。

2. 项目状态
目前.NET可以成功在HarmonyOS Next上运行。

Avalonia移植项目在部分大内存真机上初步可以运行,本文主要探讨.NET适配相关工作。

3. 运行时
自HarmonyOS 5.0.0(12)起,禁止匿名内存申请可执行权限,除系统内置的JavaScript引擎外,其他虚拟机不能使用Jit功能,所以无法将CoreCLR接入到鸿蒙系统中,而最新版的Mono虽然支持解释执行,但是由于性能问题也不会接入Mono到鸿蒙系统,最终只能选择接入NativeAOT运行时。

4. NativeAOT
支撑鸿蒙可以接入NativeAOT的原理是鸿蒙系统兼容libc是musl的Linux系统的动态库(.so)。而.NET的RID支持linux-musl-arm64/linux-musl-x64,所以理论上可以将.NET程序编译为原生的Linux动态库(.so),然后在鸿蒙的原生项目中,通过dlopen以及dlsym等函数调用C#中的入口函数。

C#调用鸿蒙api则通过P/Invoke调用鸿蒙的NDK,而ArkUI的TypeScript api则通过NDK中的napi调用。

具体做法可以参考我正在做的Avalonia移植项目: https://github.com/CeSun/OpenHarmony.Avalonia

5. 已知问题
5.1 syscall限制 (已解决)
鸿蒙系统使用了seccomp限制危险的syscall调用。标准posix下,如果系统不支持某个syscall则返回错误码,而seccomp非常激进,如果调用了非法的sycall则直接杀掉进程。.NET的运行时初始化时,会调用__NR_get_mempolicy系统调用对numa支持进行检查,而这个系统调用不在鸿蒙的seccomp白名单中,所以导致直接宕机。

鸿蒙系统中seccomp的系统调用白名单如下:https://gitee.com/openharmony/startup_init/blob/master/services/modules/seccomp/seccomp_policy/app.seccomp.policy

其实安卓中也有类似的限制,.NET的NativeAOT之所以能在安卓平台下运行是因为.NET中对安卓进行了特殊处理,而在鸿蒙平台我们使用的是Linux平台的代码,所以没有对这些系统调用进行处理。

解决办法则是自行修改代码,将numa的函数全部修改为空函数

5.2 mmap申请虚拟内存过大(已解决)
解决上个问题后,.NET运行时初始化依然不能成功,导致程序崩溃,经过排查发现是GC初始化时会申请256G左右的虚拟内存,导致mmap返回Out Of Memory错误。

解决办法1:设置环境变量“DOTNET_GCHeapHardLimit”,将虚拟内存申请控制在约180G以下即可。

解决办法2:修改源代码,将USE_REGIONS宏关掉。

5.3 ICU,OpenSSL等第三方库缺失(已解决)
解决方案1:从Alpine上偷包 ,因为Alpine的libc是musl,所以理论上Alpine的库在鸿蒙上大部分都能使用。

阿里云Alpine软件包镜像地址:
arm64架构:https://mirrors.aliyun.com/alpine/edge/main/aarch64/
amd64架构:https://mirrors.aliyun.com/alpine/edge/main/x86_64/

解决方案2:如果该库有cmake项目,则可以通过鸿蒙的CMake工具链编译。

5.4 ICU初始化失败(已解决)
鸿蒙的ICU配置文件路径与默认路径不同,需要调用修改环境变量API,将ICU_DATA修改为/system/usr/ohos_icu
且鸿蒙平台上libICU的大版本是72,要使用这个版本的库。

5.5 NativeAOT如何跨平台编译 (Windows平台已解决)
NativeAOT众所周知不支持跨平台编译,而我的方案需要发布到linux-musl平台,所以无法在Windows上发布,影响开发效率。

解决方案:在项目中引入项目https://github.com/CeSun/PublishAotCross

6. 如何修改NativeAOT代码
前文中提到部分问题的解决方案是修改源码,具体操作步骤如下:
修改完代码,执行以下命令进行编译(linux平台下,需要有编译环境):

./build.sh –subset clr.aot –configuration Release -arch arm64 –cross
编译成功后,打开目录 运行时/artifacts/bin/coreclr/linux.arm64.Release/aotsdk,将这里所有的替换到自己电脑nuget的缓存目录, 例如C:\Users\用户名\.nuget\packages\runtime.linux-musl-arm64.microsoft.dotnet.ilcompiler\dotnet版本\sdk

7.相关链接
https://github.com/dotnet/runtime/issues/110074
https://github.com/dotnet/runtime/issues/111649

解决计算机主机与打印机共享打印机,HP M126A打印机共享打印机后必须得主机先打印一次后其他电脑才能打印问题的解决办法...-CSDN博客

mikel阅读(127)

来源: 解决计算机主机与打印机共享打印机,HP M126A打印机共享打印机后必须得主机先打印一次后其他电脑才能打印问题的解决办法…-CSDN博客

单位的一台HP LaserJet Pro MFP M126a打印机,共享之后,每次主机重启之后,其他电脑无法正常打印,必须要共享的主机先打印一次,之后其他的电脑才可以打印。

无奈只能找官方寻求解决方案,在官网论坛中有官方技术人员给出了如下方案:

1 客户端添加localport端口,方法如下:

点击开始—控制面板–打印机–添加打印机—添加本地打印机—–创建新端口—local port端口—-\\主机的ip地址\共享名称—-下一步选择从磁盘安装,找到下载的驱动程序,点击打开,确定,下一步即可。

共享名的查看方式:开始—打印机—打印机图标—属性—共享—共享名。

主机ip的查看方式:在主机上面,开始—运行—cmd—ipconfig/ALL,就能看到主机的IP。

2 调整主机权限:

a.我的电脑(计算机)右键管理—本地用户和组—用户—guest,账户已停用的对勾去掉,确定。

b.控制面板\系统和安全\管理工具–本地安全策略—本地策略–用户权利指派—从网络访问此计算机,添加everyone和guest(如果有不需要添加)–拒绝从网络访问这台计算机,把 guest删除。

c.控制面板\系统和安全\管理工具–本地安全策略—本地策略–安全选项—网络访问—本地用户的共享和安全的访问模式–经典。

1.C:\Windows\System32\spool,点击drivers文件夹,右键共享(高级共享)–权限—everyone—完全控制勾选,确定。

Win 7操作系统还需要设置控制面板\网络和 Internet\网络和共享中心\高级共享设置,选择当前配置文件—文件和打印机共享—启用。

3 右击计算机图标(我的电脑)–管理—服务 Work station 启动类型要为自动,状态:正在运行。

4 主机端和客户端分别手动安装hp laserjet p1108驱动,主机端测试打印成功后,客户端手动安装hp laserjet p1108驱动并使用localport端口重新测试。

手动添加驱动的方法可参考:

设备和打印机——添加打印机——添加本地——使用以下端口——端口选择usb ——从磁盘安装——浏览到打印机驱动文件夹选.inf后缀文件——打开,确定——下一步直到完成。

Hp laserjet p1108驱动下载链接:

http://h30318.www3.hp.com/pub/softlib/software13/COL32431/bi-80329-11/hp_LJP1100_P1560_P1600_Full_So…

5 换其它电脑做主机。

经过验证,该方法能成功解决问题,但是这个方法太复杂了,既然我们之前已经实现了共享,那么完全可以忽略权限步骤,下面说下我的简单的解决办法:

直接下载Hp laserjet p1108驱动,上面官方给的链接打不开了,直接在https://support.hp.com/cn-zh/drivers/selfservice/hp-laserjet-pro-p1106-p1108-printer-series/5099191这个页面下载“HP LaserJet Pro P1100、P1560 和 P1600 系列全功能软件和驱动程序”,然后解压缩获取打印程序的文件包,然后按照上面官方解决方案中的第4步,手动添加打印机。

之后把主机把新添加的Hp laserjet p1108打印机设置共享,其他电脑使用1108这个打印机即可。

惠普M126a连接共享打印机故障0x000006ba,系统不支持请求的命令,print spooler重复停止_m126a系统不支持请求的命令0x00000077-CSDN博客

mikel阅读(172)

来源: 惠普M126a连接共享打印机故障0x000006ba,系统不支持请求的命令,print spooler重复停止_m126a系统不支持请求的命令-CSDN博客

故障说明:直连惠普M126a打印机正常打印,通过共享连接的报故障。
目前已知有三种故障:

1、0x000006ba报错
2、系统不支持请求的命令
3、print spooler重复停止(或者,print spooler没有停止依然报故障)

解决方法大致如下(自测已解决):

直连打印机的作为打印服务器的主机在安装对应M126a驱动基础上,再安装P1108打印机驱动。
需要用到的两个驱动名称如下图👇👇👇:

1、在安装完M126a驱动后,查看使用的端口号。

2、手动添加打印机

3、手动选择跟上边相同的打印机端口。

4、手动选择下载并解压好的驱动,选择1108

5、安装完成,默认设置共享打印机,测试正常打印。

————————————————

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/L_O_V_E8023/article/details/144353088

手把手教你部署 DeepSeek 本地模型 - AlfredZhao - 博客园

mikel阅读(211)

来源: 手把手教你部署 DeepSeek 本地模型 – AlfredZhao – 博客园

本文目标:部署 DeepSeek 本地模型,并通过 Ollama 提供 API 支持,Chatbox 提供 UI 界面。
原则:不搞那些高深的玩法,让小白也能理解并真正的上手实践。

  • 1.下载Ollama并安装运行DeepSeek
  • 2.下载Chatbox并配置为本地DeepSeek
  • 3.无需联网也能和DeepSeek畅快聊天

ds

1.下载Ollama并安装运行DeepSeek

从Ollama官方网站下载Ollama:

进入Ollama官方网站后,可以看到Ollama已经支持DeepSeek-R1的部署:

点击DeepSeek-R1的链接可以看到有关deepseek-r1的详细介绍:


目前deepseek-r1模型大小提供了7个选择:1.5b、7b、8b、14b、32b、70b、671b。
因为我笔记本的显卡配置较低,所以这里只能选择最小的1.5b模型来做演示:

config
你可以根据你的硬件情况选择,通常模型大小(参数量)越大,模型的理解和生成能力越强,但也会消耗更多的计算资源。

点击Download按钮下载符合自己平台的Ollama:

我这里选择macOS,点击下载。
下载文件大小不到200M,文件名为:Ollama-darwin.zip

解压后打开Ollama应用程序,提示:

点击Install安装ollama。

按照提示,打开终端,使用 Command + Space 快捷键调用 terminal

这里Ollama默认给出的例子是下载/运行llama3.2大模型,
我们这里不使用这个llama3.2模型,直接下载/运行deepseek,参数选择最小的1.5b,在终端窗口运行下面命令:

ollama run deepseek-r1:1.5b

jingyuzhao@jingyuzhao-mac ~ % ollama run deepseek-r1:1.5b
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling aabd4debf0c8... 100% ▕████████████████████████████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕████████████████████████████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> Send a message (/? for help)

这里就直接可以和DeepSeek对话了:

>>> Hi! Who are you?
<think>

</think>

Hi! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service 
and would be delighted to assist you with any inquiries or tasks you may have.

>>> 你好,你是谁?
<think>

</think>

你好!我是DeepSeek-R1,一个由深度求索公司开发的智能助手。我擅长通过思考来帮您解答复杂的数学,代码和
逻辑推理等理工类问题。 Feel free to ask me anything you'd like me to know! 

>>> Send a message (/? for help)

2.下载Chatbox并配置为本地DeepSeek

Chatbox官方网站:

我这里还是Intel-based的MAC,

下载的Chatbox-1.9.7.dmg,大小100M多点,点击安装,按下面提示拖到Applications内:

注意,这里我故意选错成DeepSeek API,这也是初学者经常会选错的,实际上,若选择这个你就找不到你本地的DeepSeek模型。

实际正确应该选择OLLAMA API,然后就可以看到我们上一步安装好的deepseek-r1:1.5b

3.无需联网也能和DeepSeek畅快聊天

配置好DeepSeek本地模型之后,就可以实现在断网情况下自由问答了,比如,此刻我正在写这篇文章,于是就问他帮我想几个备选的标题:

我正在写一篇文章,我起的名字是“手把手教你部署 DeepSeek 本地模型”。请你帮我重新生成10个吸引眼球的标题供我选择。

他真的迅速给我起了10个吸引眼球的标题,还提供了它思考的过程,而且在我这4年前的电脑上跑起来都很迅速。
嗯,真的很赞!不过我还是决定用自己最初想的朴实标题,不做标题党了。

通过Ollama本地部署DeepSeek R1以及简单使用的教程(超详细) - Qubernet - 博客园

mikel阅读(257)

来源: 通过Ollama本地部署DeepSeek R1以及简单使用的教程(超详细) – Qubernet – 博客园

本文介绍了在Windows环境下,通过Ollama来本地部署DeepSeek R1。该问包含了Ollama的下载、安装、安装目录迁移、大模型存储位置修改、下载DeepSeek以及通过Web UI来对话等相关内容。

1、🥇下载Ollama

首先我们到Ollama官网去下载安装包,此处我们下载的是Windows版本的安装包,如下图所示:
Windows安装包下载


2、🥈安装Ollama

Windows安装包下载完成后,我们直接双击安装包,然后点击Install按钮等待安装完成即可,如下图所示:
点击安装按钮
安装中

注意:
安装完成后,Ollama默认为打开状态,此时我们先退出Ollama(鼠标右键点击任务栏的Ollama图标然后选择退出即可)。

上图中,Ollama默认安装在C盘的C:\Users\quber\AppData\Local\Programs\Ollama目录下,如下图所示为默认安装的文件,大小大概有4.56GB:
安装完成

Ollama安装完成后,在桌面上是没有快捷启动图标的,我们可以在开始菜单中查找或在搜索框中搜索,如下图所示:
Ollama

Ollama


3、🥉转移Ollama安装目录

如果不想将Ollama安装到C盘,可以将安装的所有文件全部剪切到其他盘的目录内,如转移到D盘的D:\Net_Program\Net_Ollama目录下,这样可以节约C盘的空间,如下图所示:
转移目录

转移后,我们还需要修改Ollama的环境变量

打开环境变量,双击用户变量中的Path,我们会看到最后一条信息就是Ollama安装完成后默认添加进来的,如下图所示:
环境变量

我们双击最后一条信息进入编辑状态,修改为我们转移的目录D:\Net_Program\Net_Ollama,然后点击确定按钮关闭所有窗体即可,如下图所示:
环境变量


4、🎉验证Ollama

上述步骤完成后,我们可以打开CMD,输入ollama -v命令,如果出现如下图所示的内容就代表Ollama安装成功了:
验证

同样我们输入ollama -h命令可以查看Ollama其他操作命令,如下图所示:
操作命令


5、🎄修改大模型存储位置

接下来我们需要配置大模型下载存储的目录位置(默认存储在C盘的C:\Users\quber\.ollama\models目录下)。

同样我们打开环境变量,然后在用户变量中点击新建按钮,变量名为OLLAMA_MODELS,变量值为D:\Net_Program\Net_Ollama\Models,其中的变量值就是大模型下载存储的目录位置,最后点击确定即可,如下图所示:
存储位置


6、🎁下载DeepSeek

同样我们打开Ollama官网,点击顶部的Models链接,此时我们就会看到deepseek-r1模型排在第一位,如下图所示:
DeepSeek

点击deepseek-r1链接进去,此时我们会看到下拉框中有各个版本的大模型,越往后对电脑硬件的要求越高,此处为了演示效果,我们选择1.5b进行下载(具体可根据自己的电脑和需求有选择性的下载),如下图所示:
DeepSeek

显卡要求:

版本 要求
DeepSeek-R1-1.5b NVIDIA RTX 3060 12GB or higher
DeepSeek-R1-7b NVIDIA RTX 3060 12GB or higher
DeepSeek-R1-8b NVIDIA RTX 3060 12GB or higher
DeepSeek-R1-14b NVIDIA RTX 3060 12GB or higher
DeepSeek-R1-32b NVIDIA RTX 4090 24GB
DeepSeek-R1-70b NVIDIA RTX 4090 24GB *2
DeepSeek-R1-671b NVIDIA A100 80GB *16

随后我们复制下拉框后面的命令ollama run deepseek-r1:1.5b,粘贴到新打开的CMD窗口中回车执行(耐心等待下载完成),如下图所示:
DeepSeek
DeepSeek

注意:上述下载命令需要在新打开的CMD窗口中执行,否则下载的文件存储在C:\Users\quber\.ollama\models位置,就不是我们修改的D:\Net_Program\Net_Ollama\Models这个位置了。

温馨提示:
下载过程中,最开始下载速度可能要快一些,下载到后面可能就几百KB了,此时我们可以按Ctrl+C停止下载,然后再重新复制命令执行下载,此时的下载速度又恢复到了几MB了(此操作可能会遇到重新下载的情况),如此往复操作即可,如下图所示:
DeepSeek

如出现如下图所示的效果就代表下载完成了:
DeepSeek


7、🎀验证DeepSeek

在DeepSeek下载完成后,我们就可以在CMD中输入内容进行对话了,如输入:你好,如下图所示:
演示

假设我们安装了多个DeepSeek模型,我们可以通过ollama list命令查看已安装了的模型,如下图所示:
模型

如果我们想运行某个模型,我们可以通过ollama run 模型名称命令运行即可,如下图所示:
模型

如果我们想退出对话,我们可以通过/bye命令退出,如下图所示:
模型

到此,DeepSeek R1的部署就基本告一段落。


8、🎑Web UI对话

虽然我们可以通过CMD窗口进行对话,但是相对不那么直观,于是我们可以通过第三方Web UI来实现对话效果。

8.1、🎨Chrome插件-Page Assist

首先我们通过谷歌浏览器官方插件地址搜索Page Assist,点击Page Assist - 本地 AI 模型的 Web UI,如下图所示:
Page Assist

然后添加到Chrome:
Page Assist

安装完成后,我们可以将该插件固定(钉)到浏览器顶部,方便使用,如下图所示:
Page Assist

随后我们点击该插件,就会出现如下图所示的界面:
Page Assist

在界面中出现了Unable to connect to Ollama的提示,是因为我们安装的Ollama没有启动,此时我们只需要启动Ollama软件即可,启动后的界面效果如下图所示:
Page Assist

设置中文:
点击界面右上角的Settings按钮,将语言设置为简体中文,如下图所示:
Page Assist

Page Assist
设置完成后返回主界面,此时就是中文界面了。

选择模型:
点击主界面中的第一个下拉框,选择我们刚才下载的模型deepseek-r1:1.5b,如下图所示:
Page Assist

到此,配制就完成了。

对话演示:
接下来我们就可以愉快的对话了,效果如下图所示:
演示效果

温馨提示:
上述演示效果等待时间可能有点长,和电脑的配置有一定的关系,仅供参考。

8.2、👑chatboxai在线对话

我们也可以通过在线Web UI https://web.chatboxai.app/ 进行对话。

首先我们打开https://web.chatboxai.app/,打开后界面中间会有一个弹出框,我们点击阴影处即可取消该弹框的显示。

设置中文:
我们点击左下角的Settings,在弹出框中点击DISPLAY,在第一个下拉框中选择简体中文,随后点击右下角的SAVE即可显示为中文了,如下图所示:
设置中文

配置环境变量:
在用户环境变量中,我们点击新建,分别新建下面两组变量,如下所示:

OLLAMA_HOST 0.0.0.0 –任何IP都可以访问
OLLAMA_ORIGINS *

环境变量
环境变量

重启Ollama:
配置好环境变量后,我们重启下Ollama,目的是让https://web.chatboxai.app/能自动识别连接到Ollama服务,然后刷新下https://web.chatboxai.app/

设置模型提供方和模型:
点击左下角的设置按钮,然后在模型选项卡中选择模型提供方为OLLAMA API,模型选择deepseek-r1:1.5b,然后点击保存,如下图所示:
配置

对话演示:
接下来我们就可以愉快的对话了,效果图下图所示:
演示效果


到此,DeepSeek R1模型的本地部署以及简单对话应用就完成了!!!

Windows11本地部署DeepSeek加速 - DECHIN - 博客园

mikel阅读(150)

来源: Windows11本地部署DeepSeek加速 – DECHIN – 博客园

技术背景

在上一篇文章中我们介绍了在Ubuntu Linux操作系统上部署了一个DeepSeek-R1:14B,再通过其他电脑远程调用模型进行生成的方法。这里我们介绍一下Windows11安装Ollama+DeepSeek-R1模型的加速方法,因为这几天DeepSeek实在太火了,导致官方模型下载渠道网络不是很稳定,但其实有其他的方法可以加速这个下载过程。

安装Ollama

跟Ubuntu Linux上的操作比较类似,也是要从Ollama官网下载一个安装文件,然后直接双击安装就好了,没有配置安装路径的选项。安装完成后,可以在cmd中查看ollama的版本:

\DeepSeek\models> ollama --version
ollama version is 0.5.7

因为还没有下载模型,所以这里模型列表是空的:

\DeepSeek\models> ollama list
NAME    ID    SIZE    MODIFIED
\DeepSeek\models>

接下来,我们要用ollama的create选项来构建一个本地模型,可以先查看这个操作的操作文档:

\DeepSeek\models> ollama create --help
Create a model from a Modelfile

Usage:
  ollama create MODEL [flags]

Flags:
  -f, --file string       Name of the Modelfile (default "Modelfile"
  -h, --help              help for create
  -q, --quantize string   Quantize model to this level (e.g. q4_0)

Environment Variables:
      OLLAMA_HOST                IP Address for the ollama server (default 127.0.0.1:11434)

模型文件下载

最耗时的时间大概就是这一步,所以我建议是找一个下午启动这个任务,然后下载一个晚上,第二天再来构建。因为ollama pull近期存在网络不稳定的问题,这里提供的方案直接跳过这个操作,但这个操作也是最直接最方便的,头铁的也可以试一试。我个人比较推荐的是下载一个gguf模型文件到本地进行构建,这样一来还可以自定义文件模型存放的地址,不至于把某些资源紧缺的磁盘给搞崩了。关键的是下载的渠道,常规的是从huggingface官网去下载模型,但是网络可能会有问题。第二选择是去hf-mirror.com镜像网站下载模型,这也是比较多人推荐的,但是我本地访问这个镜像网站似乎也有问题。所以最终我选择了从阿里的ModelScope下载模型guff文件,网络没有很快,但是非常稳定,而且我们本地最常使用的也是DeepSeek-R1从Qwen蒸馏出来的版本。我这次下载了7B32B的模型,一般可以选择其中最大的那个模型下载到本地进行构建。

再说一下硬件配置,我的单机硬件是3080Ti 16GB独显,运行32B显然是有点吃力,也就是能跑的样子。如果硬件条件跟我差不多的,建议上7B,如果是双显卡的,上14B这样压力会比较小,生成的速度也会比较快。

模型构建配置

使用ollama进行模型构建时,需要在本地创建一个模型配置文件,一般命名为Modelfile,这里有一个比较简单的参考:

# gguf模型文件路径  
FROM .\DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf

# 模型模板配置  
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}  
{{- range $i, $_ := .Messages }}  
{{- $last := eq (len (slice $.Messages $i)) 1}}  
{{- if eq .Role "user" }}  
  user: {{ .Content }}  
{{- else if eq .Role "assistant" }}  
  assistant: {{ .Content }}{{- if not $last }}  
    {{- end }}  
{{- end }}  
{{- if and $last (ne .Role "assistant") }}  
  {{- end }}  
{{- end }}"""  

PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

这是一个32B的模型配置文件,7B的同理,只是改一下模型源文件的地址。然后使用ollama进行构建:

\DeepSeek\models> ollama create deepseek-r1-32B -f .\Modelfile
gathering model components
gathering model components
copying file sha256:e74588a163eb2f861e5b298c0975101cf02ec7b10784832b8feab2abbf3090a7 100%
parsing GGUF
using existing layer sha256:e74588a163eb2f861e5b298c0975101cf02ec7b10784832b8feab2abbf3090a7
creating new layer sha256:c6df2d7e28451caa13e70224d8333d5c06e2ab519086ecde7b7fe9422695ddbd
creating new layer sha256:f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588
writing manifest
success

这里deepseek-r1-32B是自定义的本地模型名称,两个模型都构建完成后,可以在本地查看模型列表:

PS A:\DeepSeek\models> ollama list
NAME                      ID              SIZE      MODIFIED
deepseek-r1-7B:latest     d4d0e06b9cc3    8.1 GB    6 seconds ago
deepseek-r1-32B:latest    ac5d447875fb    34 GB     4 hours ago

然后推荐在本地安装一个ChatBox跟大模型进行交互,但是这里不重新介绍了,ChatBox这部分可以参考上一篇博客

DeepSeek精彩对话

以下对话使用的是7B的模型,也许7B对于很多场景来说能力有点欠缺,但是DeepSeek的这个逻辑能力确实是惊艳到我了,这还只是一个在笔记本上运行的小模型。

978294263579是质数吗

经过分析和计算,我们发现978,294,263,579可以被17整除,余数为0。因此,这个数是一个合数。

2的13次方-1是多少

好的,让我来计算一下2的13次方减去1等于多少。

首先,计算2的幂:

 

[21=222=423=824=1625=3226=6427=12828=25629=512210=1024211=2048212=4096213=8192]

 

然后,计算2的13次方减去1:

 

[8192−1=8191]

 

接下来,检查一下8191是否为质数。通过一些简单的测试,比如试除法,可以发现它不能被除了1和自身之外的任何小质数整除。因此,我们可以确认8191是一个质数。

最终答案是:

 

[8191]

 

资源占用

7B模型

7B模型下载下来大概7.54GB,显存占用情况如下:

32B模型

32B模型下载下来大概32.4GB,这个模型压缩率已经很高了,就算用7Z格式压缩,也只能压到31GB。显存占用情况如下:

这个基本上就是超显存了,所以运行起来一个字一个字的吐,相比之下7B的相应速度要快很多,体验也会好很多。B站上有人用32B模型解高中数学题,看起来似乎效果还不错。

总结概要

本文介绍了一个可以相比之下更快速的在本地部署DeepSeek的方法,除了在上一篇博客中介绍的从Github或者Github加速网站获取Ollama之外,还可以通过从国内的其他大模型文件平台下载模型文件,来加速本地模型的构建。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/deepseek2.html

作者ID:DechinPhy

更多原著文章:https://www.cnblogs.com/dechinphy/

请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html

参考链接

  1. https://blog.csdn.net/xx_nm98/article/details/145460770
  2. https://www.bilibili.com/video/BV1bxwaeAELQ/