• 魔搭 ModelScope国内

  阿里发起的模型社区，模型与数据集可直接下载，还提供在线 Notebook 和试用推理。

• AnythingLLM境外

  可在本机运行的知识库应用，把文档喂进去后做问答，模型可自选本地或云端。

• Apache APISIX国内

  兼作 API 网关与 AI 网关的开源项目

• AutoAWQ境外

  实现四位量化并加速推理的开源工具

• BentoML境外

  为速度与控制设计的模型推理平台

• bitsandbytes境外

  为主流训练框架提供低位量化的开源库

• Cloudflare AI Gateway境外

  为 AI 应用提供分析、缓存与限流的网关

• Envoy AI Gateway境外

  面向智能体流量的开源控制平面

• ExLlamaV2境外

  在消费级显卡上快速运行大模型的推理库

• FastChat境外

  用于训练、服务与评测大模型的开放平台

• GGML境外

  面向机器学习的开源张量库，可在代码托管平台上查阅并参与贡献。

• Guidance境外

  用于控制语言模型输出的引导语言

• Higress国内

  为模型接口与智能体提供统一接入的开源 AI 网关

• Hugging Face境外

  模型与数据集的集散地，模型卡、推理试用与在线部署空间一应俱全。

• Jan境外

  开源的本地助手客户端，模型与数据都留在本机，适合对隐私敏感的场景。

• KServe境外

  面向容器平台的标准化模型服务与生成式推理

• LightGBM境外

  高效的梯度提升树机器学习框架

• LiteLLM境外

  开源 AI 网关，统一密钥、路由与用量管控

• llama.cpp境外

  开源推理引擎，把模型量化后在普通 CPU 上也能跑，是本地部署的核心组件。

• LM Studio境外

  桌面端本地模型管理器，带图形界面挑选与量化模型，也能开本地接口服务。

• LMDeploy国内

  用于压缩、部署与服务大模型的工具包

• LMQL境外

  用于与语言模型交互的查询语言

• Msty境外

  桌面端模型客户端，可同时向多个模型提问并并排对比回答。

• NVIDIA Triton境外

  支持多种框架的模型部署推理服务

• Ollama境外

  本地运行开源模型的工具，一条命令拉取权重并起服务，自带接口方便接程序。

• OpenLLM境外

  把开源大模型暴露成兼容主流接口的服务

• Portkey境外

  面向生成式应用的生产化技术栈

• Ray Serve境外

  可扩展的通用模型在线服务框架

• Semantic Kernel境外

  用于编排模型与插件的开发框架

• Text Generation WebUI境外

  开源本地模型网页界面，支持多种加载后端与插件扩展，适合折腾各种量化模型。

• TorchServe境外

  用于模型推理服务的框架与文档

• XGBoost境外

  面向梯度提升的机器学习库与文档

• Xinference国内

  可自托管的模型推理与服务框架

该分类属于 AI 服务收录目录（共 35 个大类、1052 条）。