模型部署框架xinference
## 模型部署框架xinference ## 安装xinference https://inference.readthedocs.io/zh-cn/latest/index.html xinference是一个llm部署框架，和ollama类似，是一个快速运行llm和嵌入模型的框架 部署前确定已经在当前虚拟环境和目录中`source venv/bin/activate` `uv pip install xinference` 或者带推
分类 / 人工智能 — 木小良
weaviate向量数据库
## weaviate向量数据库 项目地址：https://github.com/weaviate/weaviate 文档：https://weaviate.io/developers/weaviate/api/rest#tag/objects/GET/objects python SDK文档：https://python.langchain.com/docs/integrations/vectorstores/weaviate/ #
ray-rllib强化学习框架
## ray-rllib强化学习框架 文档：https://docs.ray.io/en/latest/rllib/index.html `uv pip install "ray[rllib]" torch` 这里的torch最好自己根据条件去手动安装对应版本 `uv pip install "gymnasium[atari,accept-rom-license,mujoco,classic-control]"` 如果要运行模拟 `uv
LightRAG 知识图谱+Nginx+fastapi鉴权
## LightRAG 知识图谱+Nginx+fastapi鉴权 项目地址：https://github.com/HKUDS/LightRAG 前置条件(如果不指定系统会使用本地文件模拟)： Graph：Neo4J图数据库 KV：PGKVStorage / RedisKVStorage / MongoKVStorage kv库 Vector：Milvus / Qdrant / Faiss / PGVector DocStatus：例如
LangGraph+MCP智能体开发
## LangGraph+MCP智能体开发 文档：https://langchain-ai.github.io/langgraph/ langgraph是什么？ 用编程语言画出一个流程图，AI 沿着图中路径一步一步执行，支持循环、跳转、条件判断、记忆状态等。 `pip install langgraph` 安装 `pip install langgraph-checkpoint-postgres` 使用postgre作为记忆 `pi
qwen3开发
## qwen3开发 qwen 文档：https://qwen.readthedocs.io/zh-cn/latest/ 示例：https://github.com/QwenLM/Qwen-Agent/tree/main/examples mcp服务列表：https://github.com/modelcontextprotocol/servers `pip install "qwen-agent[mcp,code_interprete
comfyUI
## comfyUI https://docs.comfy.org/zh-CN/installation/system_requirements https://github.com/comfyanonymous/ComfyUI **如果内存大于32G下载专用版本效果更好** **** 安装pytorch后 `pip install -r requirements.txt -i https://mirrors.cloud.tencen
服务器部署dify
## 服务器部署dify 使用宿主反向代理转发，先删除docker目录中的nginx文件夹，和docker-compose.yaml中的nginx项，并添加web和api的端口暴露端口 docker-compose.yaml ```ini services: api: ports: - "5001:5001" web: ports: - "3000:3000" plugin_daemon:
文本转语音
## 文本转语音 ## CosyVoice，长文本很慢 https://github.com/FunAudioLLM/CosyVoice ### 安装项目,建议使用git下载 `git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git` `cd CosyVoice` `git config --global --add safe.directory /home/
langchai-chatchat
## langchai-chatchat 这是一将多个项目整合的项目，因此每个项目有各自的虚拟环境 需要创建几个目录，并在每个目录下创建虚拟环境，以及在每个目录下激活环境来安装： xinference 存放模型部署引擎 chatchat 存放langchain-chatchat ## langchain-chatchat项目下载和安装 `git clone https://github.com/chatchat-space/Langc
LLaMA-Factory微调工具
## LLaMA-Factory微调工具 https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https://llamafactory.readthedocs.io/zh-cn/latest/ qwen3最佳实践： https://swift.readthedocs.io/zh-cn/latest/BestPractices/Qwen3%E6%9C%80%E4%
chatGLM微调和部署
## chatGLM微调和部署 ## 常用版本 https://github.com/THUDM/ChatGLM-6B https://modelscope.cn/models/ZhipuAI/chatglm3-6b https://modelscope.cn/models/ZhipuAI/chatglm2-6b-int4 https://modelscope.cn/models/ZhipuAI/chatglm-6b-int4-qe
尊重人不应该胜于尊重真理。-- 柏拉图