跳到主要内容
中文/

快速入门

NIM CLI 是 NIM 提供的易用命令行工具,用简单指令即可完成各类 NIM 操作,例如列出、查找 NIM 支持的模型,一键部署模型服务或拉起 Agent 应用等。本文以 qwen/qwen3.5-35b-a3b 为例,演示如何用 NIM CLI 完成从模型部署到 Agent 启动的完整流程。

请注意

在运行 NIM CLI 命令时(nim run / nim launch),如果指定的模型名称不存在则会报错。本示例已提前确认模型名称。不同镜像源支持的模型列表会有差异;如果您不确定使用什么模型,可以不填写模型名称,进入交互选择界面。

一、安装 NIM CLI

前提条件: NIM CLI 支持 Linux(amd64 / arm64)和 macOS(Intel / Apple Silicon)。下方本地模型部署流程需要带 NVIDIA GPU 和 NVIDIA Container Toolkit 的 Linux 主机;macOS 用户可跳至「三、部署 Agent 服务」,通过远程 API 体验 Agent。其他环境要求请参阅准备工作

curl -fsSL https://cgc.chancloud.com/nim-cli/install.sh | bash

安装完成后,建议执行 nim diag 进行环境检查,详见准备工作

二、部署模型服务

nim run qwen/qwen3.5-35b-a3b

nim run 默认使用 8000 端口。如果该端口已被占用,交互式终端会提示您输入其他端口(默认建议 8001);在非交互环境中,请使用 --port 显式指定可用端口。部署成功后,模型服务将在本地对应端口提供 OpenAI 兼容的推理 API。更多搜索与部署选项请参阅模型部署

三、部署 Agent 服务

nim launch openclaw --model qwen/qwen3.5-35b-a3b

也可以将模型部署与 Agent 启动合并为一行命令。如需接入微信等消息通道:

nim launch openclaw --with-channel weixin
暂时没有可用的本地 GPU?

可以先使用 NVIDIA 托管 API,快速体验 NIM 在 Agent 应用中的能力:

nim launch openclaw --base-url

未为 --base-url 指定 URL 时,NIM CLI 默认连接 build.nvidia.com 提供的 NVIDIA 托管 API 服务。

NIM CLI 支持以下 Agent runtime:openclawnemoclawhermes-agentclaude-codedeepseek-harness

更多 Agent 配置请参阅 Agent 部署