Skip to content

管理 GPU 使用

注意

只有 Olares 管理员可以更改 GPU 使用模式。这样可以确保系统范围内的资源得到最优化管理,避免用户之间的资源需求冲突。

Olares 提供灵活的 GPU 显存管理功能,以支持图像生成和大语言模型等计算密集型任务。用户可以根据实际需要选择共享模式独占模式

GPU 使用模式

TIP

运行多个轻量级任务时,或需要确保用户间公平分配资源时,建议使用共享模式。对于需要专用资源的复杂 AI 模型或高分辨率图像生成任务,可以切换至独占模式。

共享模式(默认)

在共享模式下,Olares 智能分配应用 GPU 显存:

  • 应用共享硬件上可用的最大 GPU 显存
  • 按请求顺序执行任务,确保资源分配公平
  • 适合同时运行多个轻量级 GPU 任务的用户

独占模式

需要专用 GPU 资源的用户可以启用独占模式:

  • 应用可以独占使用硬件上可用的最大 GPU 显存
  • 提升单个资源密集型任务的性能表现
  • 大内存请求可能会限制后续应用的可用资源

INFO

对于集群应用,如 SD Web UI(Stable Diffusion)和 ComfyUI,GPU 显存由集群应用自行管理,而不是由单个用户实例管理。 这意味着这里描述的 GPU 模式设置不会直接影响这些授权应用。

更改应用的 GPU 模式

  1. 打开设置,选择系统 > GPU
  2. VRAM 模式下拉菜单中选择所需的 GPU 使用模式。

了解更多