跳到主要内容

中国NIM用户文档

Inference Microservices — 企业级 AI 推理解决方案

OpenAI / Anthropic 兼容 API企业级支持多 GPU 推理容器化部署

探索文档

选择您需要的主题,快速找到所需信息

🚀

NIM CLI

NIM CLI 将 NIM 容器部署封装为 Ollama 风格的命令行工具。只需三条指令,即可从 nim pull 到 nim launch claude-code 完成启动。

开始使用
📡

API 参考

完整的 REST API 文档,涵盖推理端点、认证机制、请求/响应格式及错误代码说明。

查看 API
📖

最佳实践手册

实用集成示例:通过 LiteLLM 接入 Code Agent,以及使用 NemoClaw 构建 Slack 工作助手。

浏览示例
📦

定制NIM镜像

通过 NIM 基础容器构建NIM镜像,包括环境变量配置、自定义设置、监控与日志管理。

了解容器

什么是 NIM?

NIM(NVIDIA Inference Microservices)是一套容器化的 AI 推理微服务,专为企业级 AI 应用部署而设计。NIM 将最先进的生成式AI模型封装为标准化的 API 服务,让开发者能够快速构建和部署 AI 应用。

  • 支持业界主流 LLM、视觉语言和嵌入模型
  • 完全兼容 OpenAI / Anthropic API 规范
  • 针对 GPU 深度优化,性能卓越
  • 企业级安全与可靠性保障

快速体验

使用 NIM CLI,只需两步即可启动 NIM 并接入 Agent:

# 1. 安装 NIM CLI
curl -fsSL https://raw.githubusercontent.com/LuYanFCP/nim-go-release/main/install.sh | bash

# 2. 启动 OpenClaw 或 Claude Code,由 NIM 提供模型支持
# - Claude Code
nim launch claude-code --run

# - OpenClaw
nim launch openclaw