快速入门
NIM CLI 是 NIM 提供的易用命令行工具,用简单指令即可完成各类 NIM 操作,例如列出、查找 NIM 支持的模型,一键部署模型服务或拉起 Agent 应用等。本文以 qwen/qwen3.5-35b-a3b 为例,演示如何用 NIM CLI 完成从模型部署到 Agent 启动的完整流程。
在运行 NIM CLI 命令时(nim run / nim launch),如果指定的模型名称不存在则会报错。本示例已提前确认模型名称。不同镜像源支持的模型列表会有差异;如果您不确定使用什么模型,可以不填写模型名称,进入交互选择界面。
一、安装 NIM CLI
前提条件: NIM CLI 支持 Linux(
amd64/arm64)和 macOS(Intel / Apple Silicon)。下方本地模型部署流程需要带 NVIDIA GPU 和 NVIDIA Container Toolkit 的 Linux 主机;macOS 用户可跳至「三、部署 Agent 服务」,通过远程 API 体验 Agent。其他环境要求请参阅准备工作。
curl -fsSL https://cgc.chancloud.com/nim-cli/install.sh | bash
安装完成后,建议执行 nim diag 进行环境检查,详见准备工作。
二、部署模型服务
nim run qwen/qwen3.5-35b-a3b
nim run 默认使用 8000 端口。如果该端口已被占用,交互式终端会提示您输入其他端口(默认建议 8001);在非交互环境中,请使用 --port 显式指定可用端口。部署成功后,模型服务将在本地对应端口提供 OpenAI 兼容的推理 API。更多搜索与部署选项请参阅模型部署。
三、部署 Agent 服务
nim launch openclaw --model qwen/qwen3.5-35b-a3b
也可以将模型部署与 Agent 启动合并为一行命令。如需接入微信等消息通道:
nim launch openclaw --with-channel weixin
可以先使用 NVIDIA 托管 API,快速体验 NIM 在 Agent 应用中的能力:
nim launch openclaw --base-url
未为 --base-url 指定 URL 时,NIM CLI 默认连接 build.nvidia.com 提供的 NVIDIA 托管 API 服务。
NIM CLI 支持以下 Agent runtime:openclaw、nemoclaw、hermes-agent、claude-code 和 deepseek-harness。
更多 Agent 配置请参阅 Agent 部署。