Skip to content

本地模型

Runtime 可以通过机器本地引擎和资源提供已准入的 AI 能力。本地引擎、已安装模型 bundle、设备兼容性和实现选择都归 Runtime 所有。App 只表达 Local 能力意图,不选择 model 或 engine。

Cloud 机器配置见 Connector 与 Provider

Runtime 拥有的选择过程

步骤归属
安装 engine 和资源 metadataRuntime 管理面
校验 package 完整性和设备兼容性Runtime
判断可用实现Runtime
调度设备资源Runtime
为请求选择实现Runtime

Bundle 的目录身份只是安装事实,不是请求 target。安装或查看 bundle 不会创建 App 可见的 binding,也不保证 Runtime 在下一次请求中使用它。

Engine 与资源目录

Runtime 目录描述已准入的 engine family、asset kind、package 完整性、能力和兼容约束。Desktop 和 CLI 可以为机器管理呈现这些目录。

目录事实用途
Engine family 和 runtime mode描述 Runtime 如何托管 engine
Asset kind 和能力 metadata描述资源的已准入用途
完整性身份校验准确的已安装内容
设备要求拒绝不兼容的安装或执行
Runtime 推荐证据帮助用户选择要安装的资源

客户端保持 Runtime 给出的推荐顺序,不根据 tag 或 metadata 为模型打分、分级或重新排序。

设备兼容性

Runtime 检测 CPU、加速器、内存和存储情况,并据此校验安装和调度执行。Package 违反已准入设备约束时,会返回强类型失败原因。

设备诊断属于机器管理证据。App 不接收单模型 readiness、warming 或 health 表面,也不能通过设备探针选择执行实现。

安装流程

  1. 浏览。 Desktop 或 CLI 读取 Runtime 的已准入目录。
  2. 选择要安装的资源。 该选择只影响机器资源清单。
  3. 下载并校验。 Runtime 校验来源、内容身份和 package 结构。
  4. 注册。 Runtime 记录已安装资源和所需的 engine metadata。
  5. 呈现结果。 管理界面展示强类型进度或失败。

任意 URL 和未校验文件不能直接执行。导入和下载路径必须满足 Runtime 的目录、路径准入和完整性规则。

能力执行

  1. 对应 App 或 Agent owner 在 AIConfig 中为已准入能力记录 Local 意图。
  2. 调用者只提交身份、场景内容和受支持的操作参数。
  3. Runtime 评估已安装资源、设备状态、策略、预算和当前资源压力。
  4. Runtime 选择已准入实现,或返回强类型失败。
  5. Runtime 诊断可以记录实际执行情况,但调用者不能用它固定下一次请求。

SDK 规整结果不依赖 Runtime 最终选择 Local 还是 Cloud 实现。

读者场景:安装文本生成资源

  1. 机器管理员打开本地模型中心。
  2. Runtime 按自身顺序返回目录和推荐证据。
  3. 管理员选择要安装的兼容资源 bundle。
  4. Runtime 下载、校验并注册 bundle,或返回强类型失败原因。
  5. 后续 App 请求不包含 model、engine、route、connector 或 target。
  6. Local 意图和当前机器状态允许执行时,Runtime 可以选择已安装实现。

读者场景:设备约束

  1. 所选 bundle 需要的资源超过机器能力。
  2. Runtime 以强类型设备证据拒绝安装或执行。
  3. Desktop 或 CLI 展示 Runtime 原因,不宣称模型已就绪。
  4. 管理员可以安装其他兼容资源或修改机器配置。
  5. App 请求契约保持不变。

读者场景:多引擎

Runtime 可以在同一台机器上管理多个 engine family,并在内部仲裁共享的加速器和内存资源。Text、image、audio 等 App 请求仍然以能力为单位;App 不把请求路由到某个 engine,也不协调 engine 并发。

依赖装配

部分 engine 需要额外机器依赖。Runtime 通过已准入 materializer 完成下载、校验、安装、取消和清理。Desktop 可以展示强类型操作进度和失败,但不会执行任意 shell 命令,也不会把依赖进度投影成 App execution readiness。

记住这几点

  • 本地 model 和 engine 目录属于 Runtime 机器配置。
  • 安装资源不等于 model activation、warming 或 request binding。
  • App 只携带 Local 能力意图,不携带 model、engine、route、connector、target、readiness、health 或 fallback 控制。
  • 兼容性、调度和实现选择都归 Runtime 所有。
  • 推荐和执行诊断始终是 Runtime 提供的证据。

来源依据

Nimi 文档:可安装、开源、本地优先的个人 AI 产品。