项目架构
项目开发内容
项目用户用例图
项目地址
开发环境
- IDEA，Trace
- spring Boot3
- vue3
- 显卡：RTX 30360 12G
- LLM：deepseek-r1:14b
大模型使用
本地：Ollama部署
- Website: https://ollama.com
- Find more models: https://ollama.com/library
- 下载ollama安装即可,终端验证成功命令
ollama --version
- 访问https://ollama.com/library/deepseek-r1:14b，复制相应版本命令，在终端运行安装模型
ollama run deepseek-r1:14b
- 如果需要安装到其他位置，请在安装过程中手动更改目录。
DeepSeek离线与在线api
| 对比项 |
离线部署 |
在线API |
| 隐私数据 |
✅ 数据完全本地处理，无外传风险 |
⚠️ 需传输数据至云端，存在潜在隐私泄露风险 |
| 模型可控 |
✅ 可完全自定义模型、调整参数和逻辑 |
❌ 受限于API提供的固定模型和功能 |
| 可指定化 |
✅ 支持深度定制（如领域适配、私有知识库集成） |
⚠️ 仅支持有限定制（如prompt工程） |
| 维护成本 |
❌ 需自行维护服务器、更新模型和依赖库 |
✅ 无需维护基础设施，由服务商负责 |
| 硬件成本 |
❌ 需采购GPU/CPU服务器，初始投入高 |
✅ 按需付费，无硬件采购成本 |
| 响应速度 |
⚠️ 依赖本地算力（可能较慢） |
✅ 云端高性能集群，通常响应更快 |
| 扩展性 |
❌ 受限于本地硬件资源 |
✅ 自动扩展，轻松应对高并发 |
| 适用场景 |
金融/医疗等敏感数据场景、强定制需求 |
快速验证、中小型企业、无敏感数据需求 |
- 隐私与合规：离线版满足GDPR等严格合规要求，在线API需确认服务商的数据处理政策。
- 成本权衡：离线部署的硬件成本可能高达数万元（如A100服务器），而API按调用量计费。
- 模型更新：离线需手动更新模型权重（如从DeepSeek获取新版本），在线API自动升级但可能不可控。
大模型客户端使用
- ChatBox工具安装使用website：https://chatboxai.app/zh
数据库脚本代码
CREATE DATABASE IF NOT EXISTS chat_record
CHARACTER SET utf8mb4
COLLATE utf8mb4_unicode_ci;
USE chat_record;
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
DROP TABLE IF EXISTS `chat_record`;
CREATE TABLE `chat_record` (
`id` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '主键id',
`content` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '聊天内容',
`family_member` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '家庭成员名字（聊天归属）',
`chat_type` varchar(8) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '会话类型',
`chat_time` datetime NOT NULL COMMENT '会话时间',
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1;
deepseek创建定制医生模型
(base) PS D:\code\FamilyAIDoctor\AiDoctor\src\main\resources> ollama create yuan-doctor:1.0 -f .\my_doctor
gathering model components
using existing layer sha256:6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e
using existing layer sha256:369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150
using existing layer sha256:6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4
creating new layer sha256:23a8b21c7c408ef657a7fccc12a59763896bb981766009274e68480b94c3c3bd
creating new layer sha256:8a5b785b82b40e5e7882a88167052f651fe8c8a1ac52550784c09a4f1ae120ab
writing manifest
success
内网互通原则
- 关闭本地防火墙
- 关闭Linux防火墙或开启安全组端口
- 连接同一个WiFi下的网段
- 保证同一个网段设备同处于一个网段
- 前端（app/ios/安卓/鸿蒙/小程序）不要使用localhost
云服务器类型
