管理显卡使用

注意

只有 Olares 管理员可以更改显卡使用模式。这样可以确保系统范围内的资源得到最优化管理，避免用户之间的资源需求冲突。

Olares 为你提供了强大、灵活的显卡管理功能，让你充分释放 GPU算力，加速大模型推理、图像/视频生成及游戏等高负载任务。不论显卡位于单节点还是跨节点分布，都可在同一界面集中管理。

本文档帮你了解并配置显卡分配模式，发挥硬件最大效能。

注意

当前仅支持英伟达显卡。

显卡分配模式

Olares 提供三种分配方式，可按场景灵活选择。

时间分片模式

在此模式下，GPU 的处理能力将在多个应用之间共享。

• 该模式下，GPU 提供默认的显存资源池。未被分配独占 GPU 或专有显存的应用将自动使用时间分片模式下的 GPU（如可用）。
• 适合通用型任务以及同时运行多个轻量级应用。

应用独占模式

在此模式下，整个 GPU 的计算能力和显存将专用于单个应用。

• 最适合高性能、资源密集型应用，如 AI 图像生成或高性能游戏服务器。
• 大内存占用可能会限制其他任务的运行。

显存分片模式

在此模式下，GPU 显存（VRAM）被划分为固定配额，分配给指定应用。

• 适合同时运行多个显卡密集型应用（如多个 AI 模型），每个应用都有独立显存配额。
• 可避免多个应用运行在同一 GPU 上时的内存冲突。

查看显卡状态

1. 进入 设置 > GPU。GPU 列表显示每个显卡的型号、所在节点、总显存及当前分配模式。
2. 点击单个显卡以进入其详情页。

注意

如果你的 Olares 集群中只有一块 GPU，进入 GPU 页面将直接跳转至详情页；若有多块 GPU，则会显示 GPU 列表。

配置 GPU

在 GPU 详情页面中，可通过 GPU 模式 下拉菜单选择所需模式。不同模式下的配置项略有差异：

• 时间分片：
  1. 在 GPU 模式下拉菜单中选择该模式。
  2. 如有多个 GPU，可在绑定应用窗口，点击 + 添加应用，手动将应用绑定到该 GPU。

• 应用独占：
  1. 在 GPU 模式下拉菜单中选择该模式。
  2. 在选择独占应用下拉框中选择目标应用。
  3. 点击确认。

• 显存切片：
  1. 在下拉菜单中选择该模式。
  2. 在分配显存窗口，点击 + 添加应用。
  3. 选择目标应用，并指定分配给该应用的显存大小（以 GB 为单位）。
  4. 如需为其他应用分配显存，可重复以上操作，然后点击确认。

了解更多

• 监控 Olares 中的显卡使用情况