Dify 定制 AI 助手
Dify 是一个 AI 应用开发平台。它是 Olares 集成的关键开源项目之一,帮助你构建和管理 AI 应用,同时确保数据完全由自己掌控。 此外,你也可以在 Dify 中接入个人知识库文档,让 AI 应用更懂你。
开始之前
要使用本地 AI 模型,请确保你的环境中已配置以下内容:
- Olares 环境中已安装并运行 Ollama。
- 已安装 Open WebUI,并下载了你偏好的语言模型。
提示
建议使用
gemma2
或qwen
等轻量但功能强大的模型,可在速度和性能间取得良好平衡。
安装 Dify
根据你的角色安装相应应用:
- 管理员:需要安装“Dify For Cluster”和“Dify”。
- 团队成员:仅需安装“Dify”,同时确保管理员已安装 “Dify For Cluster”。
创建 AI 助手应用
打开 Dify,在工作室选项卡下,点击创建空白应用创建一个 AI 助手应用。这里我们创建一个名为 “Ashia” 的 Agent。
右侧点击去设置,进入模型供应商配置页面。你可以选择远程模型或本地托管模型。
添加 Ollama 作为模型提供商
配置 Ollama 访问入口。
a. 进入设置 > 应用 > Ollama > 入口,设置 Ollama 的认证级别为“内部”。该设置允许其他应用在本地网络环境下可无需认证即可访问 Ollama 服务。
b. 点击设置端点页面,查看 Ollama 的默认路由 ID(
39975b9a
)。这样,我们便得到了 Ollama 的本地访问地址:https://39975b9a.local.{你的本地名称}.olares.cn
, 如https://39975b9a.local.marvin123.olares.cn
。在 Dify 的 模型提供者商配置页面,选择 Ollama 作为模型提供者商,并进行以下配置:
- 模型名称:填写模型名称,例如:
gemma2
。 - 基础 URL:填入上一步获取的 Ollama 本地地址,如
https://39975b9a.local.marvin123.olares.cn
。
提示
其他必填字段可以保留默认值。
- 模型名称:填写模型名称,例如:
点击保存。
配置 Ashia
切换至 Dify 的工作室选项,并进入 Ashia 应用。
从右侧模型列表中选择已配置好的 Gemma2 本地模型。
点击发布。现在可以在调试与预览窗口试着和 Gemma2 聊天了。
设置本地知识库
- 在 Dify 中,进入知识库选项卡。
- 找到你的默认知识库。Dify 会监听你 Olares ID 名下的
/Documents
文件夹,作为其默认知识库。 - 进入
/Documents
文件夹,添加文档至知识库。 - 在 Ashia 的编排页面中,点击 add添加,选择创建的知识库,为 Ashia 添加上下文支持。
- 点击发布。现在有了知识库的帮助,你可以试着向助手问一个专业问题: