最近尝试在工作的电脑(Windows
环境),试用AnythingLLM
,参考了内容1
和2
,也踩了些坑,特将本地开发环境运行的情况记录如下。
操作过程
0. 环境要求
Nodejs
18+yarn
1. 源码获取
官方Github1仓库克隆代码: git clone https://github.com/Mintplex-Labs/anything-llm.git
2. 安装依赖
这个项目需要用到yarn
进行包管理,进入项目根目录,选择我们的node
环境,我使用的是18.18.0
,如下图:
如果所选的node
环境没有yarn
工具,可以通过以下命令全局安装:
npm -g yarn
我是在Visual Studio Code
的终端里运行命令,默认使用的是powershell
,可能会出现找不到yarn
命令的问题,这是由于安装后yarn
的后缀导致的,于是我选择了用最原始的Command Prompt
命令行作为终端。参考文章2,运行yarn setup
命令的过程中,在执行setup:envs
时,Windows
环境确实没有cp
这个内部命令,从而导致报错,那么,我们可以修改根目录下的package.json
文件解决这个问题,修改的内容见下图,即"setup:envs"
所在行。
这行代码可以修改为(注:前面我们使用了Command Prompt
命令行提示,那么就要符合其语法了):
"setup:envs": "copy .\frontend\.env.example .\frontend\.env && copy .\server\.env.example .\server\.env.development && copy .\collector\.env.example .\collector\.env && copy .\docker\.env.example .\docker\.env && echo \"All ENV files copied!\n\"",
修改内容主要是适应Windows环境特征,保证文件正确复制,即:
cp -n
->copy
/
->\
到此,排除了这个警告后,我们可以愉快地运行yarn
安装了:
yarn setup
此外,frontend
里的package.json
也可能导致包安装报错(我就中招了),提示version
不能为空,我们看官网仓库该目录的package.json
文件,确实是缺了这个属性:
没有这个属性,我这边报了以下错误:
Can’t add “anything-llm-frontend”: invalid package version “”
给它增加version
属性,和后台、文档收集器一致即可,我的环境是"version": "0.2.0"
参考如下:
{
"name": "anything-llm-frontend",
"version": "0.2.0",
"private": false,
"license": "MIT",
"type": "module",
"scripts": {
"start": "vite --open",
"dev": "cross-env NODE_ENV=development vite --debug --host=0.0.0.0",
"build": "vite build && node scripts/postbuild.js",
"lint": "yarn prettier --ignore-path ../.prettierignore --write ./src",
"preview": "vite preview"
},
"dependencies": {
"@microsoft/fetch-event-source": "^2.0.1",
"@mintplex-labs/piper-tts-web": "^1.0.4",
"@phosphor-icons/react": "^2.1.7",
"@tremor/react": "^3.15.1",
"anything-llm-frontend": "file:",
"dompurify": "^3.0.8",
"file-saver": "^2.0.5",
"he": "^1.2.0",
"highlight.js": "^11.9.0",
"i18next": "^23.11.3",
"i18next-browser-languagedetector": "^7.2.1",
"js-levenshtein": "^1.1.6",
"katex": "^0.6.0",
"lodash.debounce": "^4.0.8",
"markdown-it": "^13.0.1",
"moment": "^2.30.1",
"onnxruntime-web": "^1.18.0",
"pluralize": "^8.0.0",
"react": "^18.2.0",
"react-beautiful-dnd": "13.1.1",
"react-device-detect": "^2.2.2",
"react-dom": "^18.2.0",
"react-dropzone": "^14.2.3",
"react-highlight-words": "^0.21.0",
"react-i18next": "^14.1.1",
"react-loading-skeleton": "^3.1.0",
"react-router-dom": "^6.3.0",
"react-speech-recognition": "^3.10.0",
"react-tag-input-component": "^2.0.2",
"react-toastify": "^9.1.3",
"react-tooltip": "^5.25.2",
"recharts": "^2.12.5",
"recharts-to-png": "^2.3.1",
"text-case": "^1.0.9",
"truncate": "^3.0.0",
"uuid": "^9.0.0"
},
"devDependencies": {
"@esbuild-plugins/node-globals-polyfill": "^0.1.1",
"@types/react": "^18.2.23",
"@types/react-dom": "^18.2.8",
"@types/react-router-dom": "^5.3.3",
"@vitejs/plugin-react": "^4.0.0-beta.0",
"autoprefixer": "^10.4.14",
"buffer": "^6.0.3",
"cross-env": "^7.0.3",
"eslint": "^8.50.0",
"eslint-config-prettier": "^9.0.0",
"eslint-plugin-ft-flow": "^3.0.0",
"eslint-plugin-prettier": "^5.0.0",
"eslint-plugin-react": "^7.33.2",
"eslint-plugin-react-hooks": "^4.6.0",
"eslint-plugin-react-refresh": "^0.4.3",
"flow-bin": "^0.217.0",
"flow-remove-types": "^2.217.1",
"globals": "^13.21.0",
"hermes-eslint": "^0.15.0",
"postcss": "^8.4.23",
"prettier": "^3.0.3",
"rollup-plugin-visualizer": "^5.9.0",
"tailwindcss": "^3.3.1",
"vite": "^4.3.0"
}
}
3. 文件配置
安装的过程较为漫长,装好后,我们就可以配置文件了,主要是三个子项目server
(后台)、frontend
(前端)和collector
(收集器,处理文本、连接和文件等)。
(1)server后台开发环境配置
修改server
目录下的.env.development
,对后台程序进行配置,参考如下:
# 大语言模型提供商,这里我用的ollama部署的deepseek
LLM_PROVIDER='ollama'
# 嵌入模型名称,同样是用ollama部署的nomic-embed-text:latest这个embedding模型
EMBEDDING_MODEL_PREF='nomic-embed-text:latest'
# ollama地址
OLLAMA_BASE_PATH='http://127.0.0.1:11434'
# ollama Ai模型名称
OLLAMA_MODEL_PREF='deepseek-r1:14b'
# ollama Ai模型token上限
OLLAMA_MODEL_TOKEN_LIMIT='128000'
OLLAMA_PERFORMANCE_MODE='base'
OLLAMA_KEEP_ALIVE_TIMEOUT='300'
# 嵌入引擎,上面说了是用ollama部署的
EMBEDDING_ENGINE='ollama'
# 嵌入引擎地址
EMBEDDING_BASE_PATH='http://127.0.0.1:11434'
# 嵌入模型的token上限
EMBEDDING_MODEL_MAX_CHUNK_LENGTH='128000'
# 向量数据库,这里使用默认的lancedb,如果需要使用chroma,将下面两行chroma的注释打开并将lancedb这一样注释
VECTOR_DB='lancedb'
# VECTOR_DB='chroma'
# CHROMA_ENDPOINT='http://192.168.10.206:8000'
# anythingllm数据存储目录,很重要,一定要配置
STORAGE_DIR='J:/anythingllm'
# 后端服务的端口
SERVER_PORT='3001'
# 以下是JWT以及加密解密key配置
JWT_SECRET = '7C423C62AD41FE9E29F7412633FDEC7323224A066DE6FCD1016877AD1CFEF739'
SIG_KEY = 'CB358A00A41D28C8E0E653398F49EBD83BB628FE9C0FCAB6A0A8F73F4EB52786'
SIG_SALT = '7F27661F4ACA67DE7B82E7779099FC7AC9505C2C8887A0AB9288441850B77200'
后三行关于JWT_SECRET
和签名密钥、盐值等,可以自己写个代码生成,例如:
using System.Security.Cryptography;
static string GenerateSecret(int byteLength = 32)
{
byte[] keyBytes = RandomNumberGenerator.GetBytes(byteLength);
return Convert.ToHexString(keyBytes); // 转换为16进制字符串便于存储
}
string jwtSecret = GenerateSecret();
Console.WriteLine(jwtSecret);
Console.WriteLine(GenerateSecret());
Console.WriteLine(GenerateSecret());
当然,也可以使用从docker
里拿出来的,例如文章2。
注:这里我默认连了我本机的ollama
服务
(2)前端frontend配置
进入frontend
目录,同样修改.env.development
文件,参考如下:
# 后端服务也就是server的api地址,注意端口要和server目录的.env.development文件中的SERVER_PORT一致
VITE_API_BASE='http://localhost:3001/api'
(3)collector配置
进入collector
目录,同样编辑.env.development
文件,此处留空就行。
生成数据库
在项目根目录下,执行yarn prisma:setup
命令,生成数据库,数据库文件路径为: server/storage/anythingllm.db
yarn prisma:setup
启动项目
(1)分别启动
在项目根目录下分别执行如下命令,可以分别启动三个项目:
# 启动后端
yarn dev:server
# 启动前端
yarn dev:frontend
# 启动文档收集器
yarn dev:collector
(2)一次全部启动
我们阅读项目根目录的package.json
文件,可以发现,通过运行yarn dev:all
命令,可以一次启动三个,第一次运行会安装concurrently@9.1.2
,然后就可以一次运行仨了:
# 使用并发工具concurrently一次运行所有
yarn dev:all
运行效果
访问本机地址http://localhost:3000/
,我们就可以愉快地使用调试AnythingLLM
了。