大模型管理

大模型管理 #

SuperSonic最新版本为0.9.10,本文档介绍基于该版本的功能。

SuperSonic定位于AI+BI平台,需要用户先创建好大模型连接,才能最大化利用系统的能力。当前,SuperSonic定位于AI支持业内最流行的两种大模对接协议OPEN_AI和OLLAMA,几乎能适配到市面上所有的大模型服务。

注意: 如果对于如何申请厂商服务,或本地用OLLAMA部署模型不太了解,请先自行在网络上搜索。SuperSonic内置由 LangChain4j 社区提供的API Key,可作为快速体验使用,其对于单次对话由1000 token 限制,不保证所有功能都能正常运行。

在SuperSonic【大模型管理】菜单页面,可以创建多个大模型连接,且后续在【助理管理】中可为不同助理应用选择不同的连接:

创建大模型连接 #

有哪些国内的大模型服务对接? #

A: 以下是我们验证过的商用大模型服务,都通过OPEN_AI协议对接,如下表所示:

提供商 API服务URL 推荐模型
智谱AI https://open.bigmodel.cn/api/paas/v4 glm-4
阿里云 https://dashscope.aliyuncs.com/compatible-mode/v1 qwen-max
幻方 https://api.deepseek.com deepseek-chat
月之暗面 https://api.moonshot.cn/v1 moonshot-v1-8k

以下是我们验证过的开源本地大模型,都通过OLLAMA协议对接,如下表所示:

开源方 OLLAMA模型镜像
阿里云 qwen2:7b, qwen2.5:7b
Meta llama3.1:8b