Qwen2-VL华为卡300i duo环境搭建&推理测试

引子

前面也写过华为300i duo DeepSeek的环境搭建&推理测试，感兴趣的同事请移步（DeepSeek-R1华为卡300i Duo环境搭建&推理测试_2张华为昇腾 300i duo 使用ollama 运行deepseek-r1 32b,大约每秒多少t-CSDN博客）。多模态华为卡的适配倒是一直没有出过相关的博客。刚好遇到需要Qwen2-VL的配置，安装。OK， 那就让我们开始吧。

一、模型介绍

请移步（Qwen2-VL环境搭建&推理测试-CSDN博客）

二、环境安装

1、下载模型

modelscope download --model Qwen/Qwen2-VL-7B-Instruct --local dir /home/aicc/modelscope/qwen2_vl_7b_2

修改模型里的config.json里面的文件如下：修改torch_dtype(由bfloat16改成float16):

2、启动docker

docker run -dit -u root --name mindie_qwen_vl -e ASCEND_RUNTIME_OPTIONS=NODRV --privileged=true -v /home/aicc:/home/aicc -v /data:/data -v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ -v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ -v /usr/local/sbin/:/usr/local/sbin -v /etc/ascend_install.info:/etc/ascend_install.info -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size=100g --net=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash

进到下面路径：

docker exec -it -u 0 mindie_qwen_vl bashcd /usr/local/Ascend/atb-models

pip install -r requirements/models/requirements_qwen2_vl.txt -i Simple Index

3、修改ip和端口号，检查httpsEnabled是否是false

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

4、配置大模型路径、name和分配对应的芯片

三、推理测试

1、启动服务：

export MASTER_ADDR=localhost

export MASTER_PORT=7896

cd /usr/local/Ascend/mindie/latest/mindie-service/bin

export MINDIE_LOG_TO_STDOUT=1

export MINDIE_CHECK_INPUTFILES_PREMISSION=0

export MINDIE_LLM_PYTHON_LOG_TO_STDOUT=1

export MINDIE_LLM_PYTHON_LOG_TO_FILE=1./mindieservice_daemon 

通过watch -n 1 npu-smi info命令查看当前的npu程序，看看是否加载顺利

2、用curl命令本地访问大模型，看是否有返回结果

 curl xxx.xx.x.xxx:1025/v1/chat/completions -d '{

  "model": "qwen2_vl",

  "messages": [{

    "role": "user",

    "content": [

      {"type": "image_url", "image_url": "/home/aicc/modelscope/test.jpeg"},

      {"type": "text", "text": "介绍图中的内容."}

    ]

  }],

  "max_tokens": 512,

  "do_sample": true,

  "repetition_penalty": 1.00,

  "temperature": 0.9,

  "top_p": 0.95,

  "top_k": 1

}'