分类 - 大木编程

服务器部署dify

# 服务器部署dify 使用宿主反向代理转发，先删除docker目录中的nginx文件夹，和docker-compose.yaml中的nginx项，并添加web和api的端口暴露端口 docker-compose.yaml ```ini services: api: ports: - "5001:5001" web: ports: - "3000:3000" plugin_daemon:

# 文本转语音 ## CosyVoice，长文本很慢 https://github.com/FunAudioLLM/CosyVoice ### 安装项目,建议使用git下载 `git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git` `cd CosyVoice` `git config --global --add safe.directory /home/

langchai-chatchat

# langchai-chatchat 这是一将多个项目整合的项目，因此每个项目有各自的虚拟环境需要创建几个目录，并在每个目录下创建虚拟环境，以及在每个目录下激活环境来安装： xinference 存放模型部署引擎 chatchat 存放langchain-chatchat ## langchain-chatchat项目下载和安装 `git clone https://github.com/chatchat-space/Langc

LLaMA-Factory微调工具

# LLaMA-Factory微调工具 https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https://llamafactory.readthedocs.io/zh-cn/latest/ 安装时确保python在虚拟环境中 ```shell git clone --depth 1 https://github.com/hiyouga/LLaMA-Fact

chatGLM微调和部署

# chatGLM微调和部署 ## 常用版本 https://github.com/THUDM/ChatGLM-6B https://modelscope.cn/models/ZhipuAI/chatglm3-6b https://modelscope.cn/models/ZhipuAI/chatglm2-6b-int4 https://modelscope.cn/models/ZhipuAI/chatglm-6b-int4-qe

unsloth微调DeepSeek

# unsloth微调DeepSeek https://github.com/unslothai/unsloth https://kq4b3vgg5b.feishu.cn/wiki/WWzZwHVNei8zsWkieJ3cyHzWnFe ## 安装库首先确保已在项目目录中，并已激活虚拟环境 `pip install --upgrade pip` 升级pip `pip install "unsloth[cu124-torch250]

vllm 运行DeepSeek-R1-7B

# vllm 运行DeepSeek-R1-7B 本示范使用vllm，只支持linux环境 ## 创建python环境 `sudo mkdir -p /home/deepseek` 创建目录 `sudo chown -R $USER:$USER /home/deepseek` 修改目录权限，防止后续权限不够，因为python虚拟环境需要写权限 `cd /home/deepseek` 打开目录 `sudo apt install -y

llm常见显存推理和微调硬件方案

# 模型微调知识 ## 微调配置与显存要求对照表(上下浮动) | 模型大小 | 配置类型 | 显存需求 | 推荐GPU硬件 | |----------|-----------------|------------|-------------------------| | 7B | Freeze (FP16) | 20GB | RTX 4090

回归

# 回归 ### 损失函数均方误差（Mean Squared Error，MSE）：用于回归任务，计算预测值与真实值之间的平方差，并取平均值。MSE的值越小，说明模型的预测越接近真实值。平均绝对误差（Mean Absolute Error，MAE）：也用于回归任务，计算预测值与真实值之间的绝对差，并取平均值。与MSE不同，MAE的值对离群点不太敏感。交叉熵（Cross-entropy）：用于分类任务，根据预测值和真实值计算两

卷积神经网络

# 卷积神经网络池化（Pooling）、卷积（Convolution）、激活函数（Activation Function）是卷积神经网络（Convolutional Neural Network，CNN）的基本组成部分，它们的运行原理分别如下：池化：在卷积神经网络中，池化操作是为了减少特征图（Feature Map）的维度，从而减少计算量，防止过拟合。池化操作的原理是将特征图分成若干个区域，然后对每个区域进行池化操作，通常是取区

yolov5目标检测

# yolov5目标检测 ! 训练的时候要注意，**如果开启了同步盘，要关闭**，不然可能因为网盘正在读取而无法保存. 包含数据集的信息与配置，包括自定义数据集的标注和图像，训练、验证和测试数据集的配置文件等 ├── data/ # 数据集目录 │ ├── custom.yaml # 自定义数据集配置 │ ├── images/ # 存放待训练图片 │ ├── labels/ # 存放标签 │ ├── test.yaml # 测试集

pytorch基础

# pytorch基础安装torch2的cu118版本 `pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118` 检查是否已有cuda合并列表，如果有可用cuda默认设置为cuda ```python import torch if torch.cuda.is_available(): de