如何部署最新版清华大学ChatGLM2-6B大模型到Linux环境？

本文共计984个文字，预计阅读时间需要4分钟。

准备工作：+

准备工作：

# 下载项目源代码 git clone github.com/THUDM/ChatGLM2-6B # 切换到项目根目录 cd ChatGLM2-6B # 安装依赖 pip install -r requirements.txt # 安装web依赖 pip install gradio

如果安装出现问题，可尝试手动分别安装torch

1 # 1第一步安装虚拟环境并激活环境

conda create -n ChatGLM2 python=3.10.6 conda activate ChatGLM2 2 nvidia-smi查看cuda版本，12.0

3 安装torch第一种方式

pytorch官网：pytorch.org/

经过多次尝试，发现conda装，真的很快，真香。前几次尝试用pip装torch都会出现timeout的错误，这个跟服务器有关系，视情况而定。

# 安装依赖 pip install -r requirements.txt

二、准备工作。安装依赖包的同时，也可以先手动下载模型包：

1、工程文件准备

整个工程需要从两个远程仓库克隆，一个是 github 上的源码，一个是 HuggingFace 上的模型。