MindIE Service服务化集成部署通义千问Qwen模型

一、昇腾开发者平台申请镜像

登录Ascend官网昇腾社区-官网丨昇腾万里 让智能无所不及

二、登录并下载mindie镜像

#登录
 
docker login -u XXX
 
#密码
 
XXX
 
#下载镜像
 
docker pull XXX

三、下载Qwen的镜像

使用wget命令下载Qwen1.5-0.5B-Chat镜像，放在/mnt/Qwen/Qwen1.5-0.5B-Chat的目录下

四、启动容器

#查看mindie镜像的IMAGE ID
docker images
 
#启动容器
docker run --name mindieRC2 -it --ipc=host --net=host \
--privileged=true \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
--entrypoint=bash \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \
-v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /mnt:/mnt \
{mindie镜像的IMAGE ID}

五、安装MindIE依赖的环境

#/opt/package下安装

source install_and_enable_cann.sh

六、配置MindIE Service

cd /usr/local/Ascend/mindie/1.0.RC2/mindie-service
source set_env.sh
cd conf
vi config.json

七、运行启动文件

./bin/mindieservice_daemon

若出现如下回显，则说明启动成功

八、发送推理请求

①HTTP客户端发送请求

重开一个窗口，使用以下命令发送请求。例如列出当前模型列表：

curl -H "Accept: application/json" -H "Content-type: application/json"  -X GET http://127.0.0.1:1025/v1/models

②兼容OpenAI接口发送请求

重开一个窗口，使用以下命令发送请求。例如列出当前模型列表：

curl -H "Accept: application/json" -H "Content-type: application/json"  -X POST -d '{
"model": "Qwen1.5-0.5B-Chat",
"messages": [{
"role": "system",
"content": "上海好玩吗？"
}],
"max_tokens": 100,
"presence_penalty": 1.03,
"frequency_penalty": 1.0,
"seed": null,
"temperature": 0.5,
"top_p": 0.95,
"stream": false
}' http://127.0.0.1:1025/v1/chat/completions

附：报错解决方案

Q1:No such file or directory

当再次使用docker exec -it进入容器，直接运行./bin/mindieservice_daemon会报错“./bin/mindieservice_daemon: error while loading shared libraries: libsecurec.so: cannot open shared object file: No such file or directory”

A1：解决方案

第一种方法：重新加入install_and_enable_cann.sh

source install_and_enable_cann.sh

第二种方法：将install_and_enable_cann.sh配置到bashrc中

vim ~/.bashrc

增加内容如下

source install_and_enable_cann.sh

source ~/.bashrc

Q2：Management or Business Http server listen port is occupied

运行./bin/mindieservice_daemon报错“Management or Business Http server listen port is occupied”

A2：解决方案

#查看是否有其他进程占用了端口
netstat -tulnp | grep 1025
netstat -tulnp | grep 1026
#如果是其他进程占用，重启容器
docker restart 容器名称

参考链接

启动服务-启动服务与接口使用-快速开始-MindIE Service开发指南-服务化集成部署-MindIE1.0.RC2开发文档-昇腾社区