【书生大模型实战营】基础岛-8G 显存玩转书生大模型 Demo

【书生大模型实战营】基础岛-8G 显存玩转书生大模型 Demo

InternLM2-Chat-1.8B 模型的部署

代码运行

首先通过VSCode连接开发机，shiyconda activate /root/share/pre_envs/icamp3_demo激活存在的环境：

创建```cli_demo.py``文件，并完成运行模型的代码：

然后运行python cli_demp.py，可以输入用户指令，模型会给出回答：

可以看出，它的自我认知能力还不太行。

StreamLit部署

首先克隆InternLM的Tutorial到本地，使用代码git clone https://github.com/InternLM/Tutorial.git克隆。

然后启动一个 Streamlit 服务，代码为：

streamlit run /root/Project/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

之后VSCode会弹出一个网址，不需要我们自己在本地进行映射，如下：

然后跟大模型进行了交流，让它写一篇作文，最终得到的界面如下：

InternLM-XComposer2-VL-1.8B 模型的部署

使用如下命令进行部署：

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

VSCode会自动对地址进行映射，最后在本地的界面为：

InternVL2-2B 模型的部署

InternVL2-2B是最新一代的视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。

使用如下命令进行部署：

lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

/share/new_models/OpenGVLab/InternVL2-2B目录下的文件为：

最终的界面如下：