sudo apt install -y python3-venv
sudo python3 -m venv venv
source venv/bin/activate 激活虚拟环境
sudo chown -R $USER:$USER venv/ 修复目录环境权限(否则会提示没有写入权限，不能用sudo,使用sudo会跳出虚拟环境)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126 安装pyTorch
pip install transformers 安装
pip install accelerate 多显卡运行需要
1.会询问你问题是否运行在本机
2.环境选多GPU
3.多少台这样的机器默认1
4.不担心超时，减少错误，建议选yes
5.启用pyTorch优化，建议yes
6.调查你的职业，选默认的就行
7.使用自定义设置优化吗？选no
8.使用DeepSpeed吗？选no（训练才需要）
9.使用FullyShardedDataParallel吗？ (少量微调和推理选no，这个功能是分配给多gpu时优化,微调比较大时可选yes)
10.使用Megatron-LM吗？ (训练巨大模型才需要，选no)
11.使用多少个gpu？根据情况选择
12.选择哪些gpu？ 输入all
13.使用numa efficiency(仅支持nvidia卡，如果是选yes)
14.选择混合精度，(去查显卡是否支持混合精度，否则都使用no,如果支持建议选fp16)
python deepseek_run.py 运行
工具
pip list 查看已安装的库和版本
pip show torch 显示特定库
sudo pip freeze > requirements.txt 导出依赖
ubuntu vllm运行
文档：https://github.com/deepseek-ai/DeepSeek-R1
注意windows不支持vllm
pip install vllm
国内使用阿里云源
pip install vllm -i https://mirrors.aliyun.com/pypi/simple/
tail -f nohup.out 查看输出日志
运行
cd /home/deepseek
source venv/bin/activate
vllm serve ./deepseek-llm-7b-chat --tensor-parallel-size 2 --max-model-len 4096 --enforce-eager
python vllm_run.py 运行