一个全栈程序员的编程笔记

NvRTX-UE5.5分支

# NvRTX-UE5.5分支使用官方推荐vs版本Visual Studio Installer》单个组件》搜索MSVC v143，找到 14.38版本，非常重要在单个组件中找到windows 10 sdk勾选 Unreal Engine installer勾选从https://developer.microsoft.com/en-us/windows/downloads/windows-10-sdk 下载安装器后运行winsd

comfyUI

# comfyUI https://docs.comfy.org/zh-CN/installation/system_requirements https://github.com/comfyanonymous/ComfyUI **如果内存大于32G下载专用版本效果更好** **** 安装pytorch后 `pip install -r requirements.txt -i https://mirrors.cloud.tencen

服务器部署dify

# 服务器部署dify 使用宿主反向代理转发，先删除docker目录中的nginx文件夹，和docker-compose.yaml中的nginx项，并添加web和api的端口暴露端口 docker-compose.yaml ```ini services: api: ports: - "5001:5001" web: ports: - "3000:3000" plugin_daemon:

文本转语音

# 文本转语音 ## CosyVoice，长文本很慢 https://github.com/FunAudioLLM/CosyVoice ### 安装项目,建议使用git下载 `git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git` `cd CosyVoice` `git config --global --add safe.directory /home/

langchai-chatchat

# langchai-chatchat 这是一将多个项目整合的项目，因此每个项目有各自的虚拟环境需要创建几个目录，并在每个目录下创建虚拟环境，以及在每个目录下激活环境来安装： xinference 存放模型部署引擎 chatchat 存放langchain-chatchat ## langchain-chatchat项目下载和安装 `git clone https://github.com/chatchat-space/Langc

LLaMA-Factory微调工具

# LLaMA-Factory微调工具 https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https://llamafactory.readthedocs.io/zh-cn/latest/ 安装时确保python在虚拟环境中 ```shell git clone --depth 1 https://github.com/hiyouga/LLaMA-Fact

chatGLM微调和部署

# chatGLM微调和部署 ## 常用版本 https://github.com/THUDM/ChatGLM-6B https://modelscope.cn/models/ZhipuAI/chatglm3-6b https://modelscope.cn/models/ZhipuAI/chatglm2-6b-int4 https://modelscope.cn/models/ZhipuAI/chatglm-6b-int4-qe

unsloth微调DeepSeek

# unsloth微调DeepSeek https://github.com/unslothai/unsloth https://kq4b3vgg5b.feishu.cn/wiki/WWzZwHVNei8zsWkieJ3cyHzWnFe ## 安装库首先确保已在项目目录中，并已激活虚拟环境 `pip install --upgrade pip` 升级pip `pip install "unsloth[cu124-torch250]

vllm 运行DeepSeek-R1-7B

# vllm 运行DeepSeek-R1-7B 本示范使用vllm，只支持linux环境 ## 创建python环境 `sudo mkdir -p /home/deepseek` 创建目录 `sudo chown -R $USER:$USER /home/deepseek` 修改目录权限，防止后续权限不够，因为python虚拟环境需要写权限 `cd /home/deepseek` 打开目录 `sudo apt install -y

llm常见显存推理和微调硬件方案

# 模型微调知识 ## 微调配置与显存要求对照表(上下浮动) | 模型大小 | 配置类型 | 显存需求 | 推荐GPU硬件 | |----------|-----------------|------------|-------------------------| | 7B | Freeze (FP16) | 20GB | RTX 4090

大木编程