将文档转为数据集

安装MinerU

MinerU为开源的将pdf、word等文档转为markdown文件的工具
文档

安装

下载：

git clone https://github.com/opendatalab/MinerU.git

创建Conda环境

conda create -n MinerU 'python=3.12' -y

启动conda环境

conda activate MinerU

只安装pdf转markdown

pip install -U "magic-pdf[full]" -i https://mirrors.aliyun.com/pypi/simple

完整安装

pip install "mineru[all]>=2.0.0" -i https://mirrors.aliyun.com/pypi/simple

下载模型权重文件
linux下

pip install huggingface_hub
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models_hf.py -O download_models_hf.py
python download_models_hf.py

方式一：

pip install huggingface_hub
curl -o download_models_hf.py https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models_hf.py
python download_models_hf.py

方式二：

pip install modelscope 
curl -o download_models.py https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py
python download_models.py

下载完成后，系统会自动在用户目录下生成magic-pdf.json配置文件
🪟 Windows：C:\Users\用户名
🐧 Linux：/home/用户名
🍎 macOS：/Users/用户名

新版本这种方法弃用了，已经无法下载到这个py文件了，直接运行就可以自动下载模型

使用 CUDA 加速

修改【用户目录】中配置文件 magic-pdf.json 中”device-mode”的值

{
  "device-mode":"cuda"
}

覆盖安装支持cuda的torch和torchvision
CUDA11.8

pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118

CUDA12.4

pip install --force-reinstall torch==2.6.0 torchvision==0.21.1 "numpy<2.0.0" --index-url https://download.pytorch.org/whl/cu124

CUDA12.6

pip install --force-reinstall torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126

如果使用CUDA12.8建议使用torch 2.7.0

开启OCR加速

pip install paddlepaddle-gpu==2.6.1

测试
如果只安装了magic-pdf则使用以下指令

magic-pdf -p small_ocr.pdf -o ./output

完全安装

mineru -p small_ocr.pdf -o ./output

gradio_app: 基于 Gradio 的 Web 应用

pip install gradio gradio-pdf

安装easy dataset

将md文件转为json格式的数据集
文档

客户端安装

github下载：https://github.com/ConardLi/easy-dataset/releases
网盘下载：https://pan.quark.cn/s/ef8d0ef3785a

NPM 启动

下载：

git clone https://github.com/ConardLi/easy-dataset.git

cd easy-dataset

安装依赖：

npm install

编译

npm run build 

启动服务器

npm run start

docker启动

下载：

git clone https://github.com/ConardLi/easy-dataset.git

cd easy-dataset

构建 Docker 镜像：

docker build -t easy-dataset .

运行容器：

docker run -d -p 1717:1717 -v {YOUR_LOCAL_DB_PATH}:/app/local-db --name easy-dataset easy-dataset

npm install时报错

删除 node_modules 目录和 package-lock.json
这是关闭赞助提示的，可以不用关闭

npm config set fund false --location=global

跳过本次安装的审计

npm install --no-audit

全局关闭审计（不推荐生产环境）

npm set audit false

重新安装

npm install