之前综合网络各方面信息得到的配置表:
在信息爆炸的时代,数据安全和个性化需求愈发凸显。搭建本地私人知识库,不仅能确保数据的安全性,还能根据个人需求进行个性化定制,实现知识的高效管理和利用。随着技术的不断发展,我们现在有了更多强大的工具来实现这一目标。本文将详细介绍如何在 2025 年 2 月的 win11 系统环境下,利用 Ollama、Cherrystudio、beg - m3 和 Deepseek R1 32b 这些工具,部署属于自己的本地私人知识库。这些工具各自具有独特的优势,相互配合能够打造出一个功能强大、灵活高效的本地知识服务体系 ,满足大家在工作、学习和研究等多方面的知识管理需求。
部署前的准备
1. CPU(处理器)
型号建议:Intel Core i9-13600K/14600K
性能优势:均为高性能消费级CPU,具备强大的单核和多核处理能力,能够有效支持GPU的计算任务。
2. GPU(显卡)
型号建议:
消费级别可选:NVIDIA RTX 4090 或最低3090*1张 ,条件允许NVIDIA A100 或 H100(适合企业级应用)
考虑因素:若模型过于庞大,建议配置多台多块GPU并使用分布式训练技术。
3. 内存(RAM)
容量建议:最低48GB DDR5 6000起步
布局方式:采用双通道或四通道配置,提升内存带宽。
4. 存储(Storage)
系统盘建议:系统盘2TB PCI.E4.0容量起步,知识库存储SSD越大越好
数据存储扩展:可选NAS硬盘,提供大容量存储。
优点:NVMe SSD的高速读写适合快速加载模型和处理数据。
5. 电源(PSU)
功率建议:1250W以上,具体取决于GPU数量和类型
认证要求:选择80Plus金牌或白牌电源,确保高效稳定供电。
6. 散热系统
风冷散热器:NZXT Kraken X62 或Corsair Hydro H150i铂金版,支持高效散热。
机箱风扇:配置高质量机箱风扇,如Noctua NF-A12x25,提供良好的气流循环。
7. 网络(Networking)
网卡建议:Intel X550-T3 (千兆) 或更高如Mellanox ConnectX-6 for万兆网络
优点:高速网络接口便于数据传输和模型更新。
软件配置推荐
操作系统
首选系统:Ubuntu 22.04 LTS(支持长期维护,兼容性好)
备选方案:Windows 11 Pro for NVIDIA GPU管理
驱动与开发库
NVIDIA驱动:建议安装最新版本的CUDA-compatible驱动。
深度学习框架:
TensorFlow-GPU >=2.9.0
PyTorch >=2.0.0(支持MetaAI的新功能)
其他库:安装相应的PyPI依赖,如-transformers库等。
【0】能够流畅运行Deepseek R1 32b版本的机器 配置如下,实测低于这个配置则开始卡顿:
关键工具 Ollama 的安装与配置
【1】下载Ollama:我们在win11 24H2系统下安装,注意选择 win版本Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download
【2】一键式安装完成后,在终端里执行命令安装bgm-m3向量数据库和deepseek R1 32b版本:
ollama pull bge-m3
ollama run deepseek-r1:32b
安装步骤详解
在 win11 系统上安装 Ollama,首先需要从官方网站获取安装包。打开浏览器,访问Ollama 官网下载链接 ,在页面中找到适用于 Windows 系统的下载选项并点击下载。下载完成后,找到下载的安装包,通常是一个.exe 后缀的文件,双击运行它。
在安装向导界面,首先会出现欢迎页面,点击 “Next” 继续。接下来是许可协议页面,仔细阅读协议内容后,若同意则勾选 “I accept the agreement”,然后点击 “Next”。在选择安装路径时,默认路径一般为 “C:\Users\ 你的用户名 \AppData\Local\Programs\Ollama” ,如果 C 盘空间充足,可直接使用默认路径;若想更改安装路径,点击 “Browse” 按钮,在弹出的文件夹选择窗口中,定位到你期望的安装位置,例如 “D:\Program Files\Ollama” ,选好后点击 “OK”,再点击 “Next”。随后,安装程序会询问是否创建桌面快捷方式,建议勾选,方便后续快速启动 Ollama,之后点击 “Install” 开始安装。安装过程可能需要一些时间,期间会显示安装进度条,等待安装完成后,点击 “Finish” 完成安装。
环境变量设置
安装完成后,需要设置一些环境变量,以优化 Ollama 的使用体验。首先设置模型存储路径变量 OLLAMA_MODELS。右键点击 “此电脑”,选择 “属性”,在弹出的窗口中点击 “高级系统设置”。在 “系统属性” 窗口的 “高级” 选项卡下,点击 “环境变量” 按钮。在 “环境变量” 窗口的 “系统变量” 区域,点击 “新建” 按钮。在 “新建系统变量” 窗口中,变量名输入 “OLLAMA_MODELS”,变量值输入你想要存储模型的路径,比如 “D:\Ollama\Models” ,这个路径可以根据你的磁盘空间和个人习惯进行选择,设置完成后点击 “确定”。
接着设置端口变量 OLLAMA_HOST,同样在 “系统变量” 区域点击 “新建” ,变量名输入 “OLLAMA_HOST”,变量值一般设置为 “http://localhost:11434” ,这是 Ollama 服务默认的本地访问端口。设置完成后,依次点击 “确定” 关闭所有窗口,使环境变量生效。这些环境变量的作用在于,OLLAMA_MODELS 指定了模型的存储位置,方便用户管理模型文件,同时避免因模型文件过大占用系统盘空间;OLLAMA_HOST 则确定了 Ollama 服务的访问地址和端口,方便用户通过该地址与 Ollama 进行交互,如通过浏览器访问 Ollama 的 Web 界面或者在其他程序中调用 Ollama 的 API 。
服务验证
验证 Ollama 是否安装成功,可以通过命令行进行。按下 “Win+R” 组合键,打开 “运行” 对话框,输入 “cmd” 并回车,打开命令提示符窗口。在命令提示符中输入 “ollama --version” 或 “ollama -v” ,如果安装成功,会显示 Ollama 的版本号信息,例如 “ollama version 0.5.15” 。
另外,还可以通过访问本地特定端口来查看服务状态。打开浏览器,在地址栏中输入 “http://localhost:11434” ,如果看到 Ollama 的相关信息页面,说明 Ollama 服务已经正常启动并在该端口监听,至此,Ollama 在 win11 系统上的安装与配置就完成了。
Cherrystudio 安装
在 win11 系统上安装 Cherrystudio,首先打开浏览器,访问Cherrystudio 官网下载链接 。在官网页面中,找到 “下载客户端” 按钮,点击后根据系统提示选择适合 win11 系统的版本进行下载。下载完成后,找到下载的安装包,通常是一个.exe 后缀的文件,双击运行它。
安装向导的欢迎界面会首先出现,点击 “下一步” 继续。接着是许可协议页面,仔细阅读协议内容,若同意则勾选 “我接受协议”,然后点击 “下一步”。在选择安装路径时,默认路径一般为 “C:\Program Files\CherryStudio” ,如果 C 盘空间充足,可直接使用默认路径;若想更改安装路径,点击 “浏览” 按钮,在弹出的文件夹选择窗口中,选择你期望的安装位置,例如 “D:\Software\CherryStudio” ,选好后点击 “确定”,再点击 “下一步”。之后,安装程序会询问是否创建桌面快捷方式和开始菜单文件夹,建议都勾选,方便后续快速启动 Cherrystudio,然后点击 “安装” 开始安装。安装过程中会显示安装进度条,等待安装完成后,点击 “完成” 按钮,完成 Cherrystudio 的安装。安装完成后,首次启动 Cherrystudio,检查界面是否正常加载,各项功能按钮是否可见,确保软件能够正常运行。
【3】安装Cherrystudio,一站式安装,尽量安装在专门的大SSD硬盘上即可。
【4】进入Cherrystudio进行配置:第一步选择设置,第二步点击Ollama,三、四步将32b模型和bgm-m3向量数据数据库分别点上。
【5】维护知识库,第五步点击添加第六步输入标题,比如将我们今年写作的医疗开发方面文章以DOCX格式录入进去,第七步点击搜索知识库即可调出对话框搜索文章内的相关内容
【6】查看输出结果:
【7】选择智能体-学术-学术研究者即可建立相应的学术研究者智能体
【8】 在助手中就可以开始相应的AI问答应用,选择我们建立的学术研究者,本地库选择2025 CSDN论文,即可进行相应的问答。
优化建议
在使用知识库的过程中,可能会遇到一些问题,以下是针对常见问题的优化建议:
- 检索速度慢:如果出现检索速度慢的情况,首先可以检查硬件资源的使用情况。打开任务管理器,查看 CPU、内存和磁盘的使用率,如果发现某项资源使用率过高,可能会影响检索速度。例如,如果内存不足,系统可能会频繁进行磁盘交换,导致检索速度变慢,此时可以考虑增加内存。另外,优化知识内容结构也非常重要。确保添加到知识库中的文件结构清晰,对于大型文档,可以在文档内部添加详细的目录结构,方便系统快速定位和检索内容。同时,合理调整模型参数也能提升检索速度,比如在 Cherrystudio 中,适当调整 beg - m3 嵌入模型的参数,如向量维度、相似度计算方法等,找到最适合自己知识库的参数配置,以提高检索效率。
- 回答不准确:当回答不准确时,一方面可以检查知识内容的质量和准确性。确认添加到知识库中的知识是否存在错误或不完整的情况,如果有,及时进行修正和补充。另一方面,调整模型的训练和微调策略。如果有条件,可以使用更多与知识库内容相关的领域数据对 Deepseek R1 32b 模型进行微调,使其更好地理解和回答与知识库相关的问题。此外,还可以在 Cherrystudio 中调整模型的温度参数等,温度参数控制着模型输出的随机性,适当降低温度值,可以使模型的回答更加确定和聚焦,减少回答的随机性和模糊性,从而提高回答的准确性 。
部署回顾
在 win11 系统下部署本地私人知识库,我们首先从硬件和软件资源准备入手,确保系统满足硬件要求,并成功获取了 Ollama、Cherrystudio、beg - m3 和 Deepseek R1 32b 等关键软件和模型资源。接着,详细地完成了 Ollama 的安装与配置,包括安装步骤、环境变量设置以及服务验证,这为后续模型的下载和使用奠定了基础。通过 Ollama 顺利下载并测试了 Deepseek R1 32b 模型,验证了其功能的可用性。在 Cherrystudio 的使用方面,完成了安装、API 密钥申请与配置,成功添加了 Deepseek R1 和 beg - m3 模型,为构建知识库做好了准备。在构建知识库阶段,创建了知识库,添加了丰富的知识内容,并通过 beg - m3 嵌入模型对知识进行向量化处理,使知识能够被系统高效检索和利用。最后,在知识库的使用过程中,能够通过 Cherrystudio 进行便捷的知识检索和问答,并针对可能出现的检索速度慢、回答不准确等问题,提出了相应的优化建议,如检查硬件资源、优化知识内容结构、调整模型参数等。
未来展望
本地私人知识库在未来有着广阔的发展空间。随着技术的不断进步,模型的性能将不断提升,能够更精准地理解和处理复杂的知识内容。在应用场景方面,除了现有的工作、学习和研究领域,还可以拓展到更多专业领域,如医疗领域,医生可以利用本地私人知识库快速查询患者的病历、疾病诊断标准和治疗方案等信息,提高诊断的准确性和效率;在金融领域,分析师可以借助知识库快速获取市场数据、行业报告和投资策略等知识,为投资决策提供有力支持。
同时,随着人工智能和物联网技术的融合发展,本地私人知识库还可能与智能家居设备、智能穿戴设备等进行交互,实现更加智能化的知识服务。例如,用户可以通过智能语音助手与本地私人知识库进行对话,获取所需的知识和信息,无需手动输入查询内容,提升使用的便捷性。鼓励读者继续深入探索这些技术,不断优化自己的知识库,充分发挥本地私人知识库的价值,为个人和工作带来更多的便利和创新。