模型服务台(路由端)
给谁看:运营模型服务的人(路由端运营台,不是某一套 Cadau 的管理端)。
来源 help/admin-ops/model-routing.md
给谁看:运营模型服务的人(路由端运营台,不是某一套 Cadau 的管理端)。
表述:每一套 Cadau 部署要先在这里开通,才允许调用大模型。按月套餐含额度;智能体选「自动」按一口价扣,指定某一个模型按该模型牌价扣。评测也在这里做。
在运营台做什么
- 打开模型服务台(本地默认 http://localhost:3002;须先启动路由端)。
- 用运营账号登录(配置里的
console,示例为admin/change-me)。 - 站点:为每一套 Cadau 建一条,记下令牌,填进该套部署的
OPENAI_API_KEY。选套餐、到期日;可加额度或延期。 - 牌价:设自动选模一口价,以及每个已上架模型的输入/输出价(每百万字元,人民币)。模型列表里的 价格指数 是相对本表最便宜已标价模型的倍数,用来一眼看出谁贵谁便宜。
- 用量:按站点看扣了多少。
- 调用记录:看每一次对话或验证码代发——哪一套 Cadau 发来的、转给模型或短信/邮件通道的原文、以及回给 Cadau 的内容。验证码本身不保存。列表分页,点开再看全文。
- 模型:登记要上架的大模型(手工填,或把供应商说明贴进去,用已有模型读一遍再核对);跑冒烟(能不能用)和能力套件(谁更强,供自动选模)。
登记一个新模型
- 打开 模型,点 登记模型。
- 手工登记:在对话框里填代号、显示名称、供应商地址、密钥、上游模型名,并勾选图片 / 语音 / 视频的识别与生成,点「登记」。
- 或者把供应商文档、控制台说明贴进「从一段文字解析」,选一个已经能用的模型点「解析到表单」,核对后再登记。还没有任何模型时,只能先手工登记第一个。
- 登记后点 冒烟,确认今天能用。需要给自动选模比谁更强时,再跑 能力套件。
未开通、已停用、已到期或额度用尽时,该套 Cadau 的对话会提示模型服务尚未开通或已到期。
套餐与计价
- 档位默认:基础 / 专业 / 旗舰,各含每月额度。第一期由运营人工开通、加额、延期。
- 自动:一口价,不管实际用了哪个模型。
- 指定某一个:按该模型自己的牌价。
- 评测消耗记在平台运维,不摊到站点。
评测两层
- 分数:每项 0–5,满分 5。5 满分 · 4 好 · 3 能用 · 1–2 偏弱 · 0 未过。3 分及以上算过关。
- 冒烟综合:今天能不能用。由连通、格式、工具、简单算术平均(声明能识图时计入识图)。建议 3 分以上再给业务用。
- 套件综合:办事谁更强,给自动选模用。由格式、工具、推理、长文平均(识图过了才计入)。越高越优先。套件还会测流式和六项媒体。单项 3 分及以上 才改成具备该能力。不用另一个模型当裁判。
- 媒体六项(必须核验,不能只看文件名):
- 识图:送一张红块图,必须答出红色。 - 生图:图片接口或对话里必须出现可核验的图片数据(真实 PNG/JPEG 等),只提 .png 不算。 - 听语音:送一段无人说话的短音,必须答「没有」。只回「这是语音」不算。 - 生语音:语音接口或对话里必须出现可核验的音频数据,只提 .mp3 不算。 - 看视频:必须真能看懂画面。目前探测片没有可用画面时,只能记「已收下」,不标具备看视频。 - 生视频:视频接口或对话里必须出现可核验的视频数据,只提 .mp4 不算。
- 登记时勾选的媒体能力只是初值。跑过能力套件后,以套件结果改写标识。旧评测里「对话出图/出声/出片通过」会降为未过关,请在 模型 里重新跑套件。
- 进行中会显示当前做到哪一题。每一问一答写在路由端目录
eval-transcripts/(按时间建子目录),后台日志也会逐题打印。
能力、参数和各家用法
能力(会不会识图、会不会用工具等)、生成参数范围、以及各家接口怎么传文件,都在 路由端 确定,不在某一套 Cadau 里各写一套。
Cadau 办事时只用同一套说法:对话里带图片就是识图,带视频就是看视频;用户说「生成一张…的图片」就是生图,由 Cadau 请路由端按当前选用的模型出图。路由端按该模型的使用文档改写成供应商要的格式。例如 MiniMax-M3 会加上清晰度、思考开关,并把过大的视频先上传再引用。
登记时可指定对接方式(自动判断 / OpenAI 兼容 / MiniMax / 火山方舟);不填则按供应商地址判断。右侧详情里能看到温度范围和该模型的用法说明。
短信与邮件验证码
登录、注册、找回密码要发的验证码,也由路由端代发。通道密钥写在路由端配置里,不要再写进某一套 Cadau 的服务器配置。Cadau 只用开通时拿到的站点令牌来请路由端代发。
每次代发会记一条用量:哪一套部署、短信还是邮件、脱敏后的号码或邮箱、成功还是失败。不记录验证码本身。在模型服务台 用量 里可按站点查看。完整原文(同样不含验证码)在 调用记录。
未配置通道时,该套 Cadau 会提示短信或邮件服务未配置。
与 Cadau 管理端的分工
Cadau 管理端管那一套里的用户、知识、记忆。开通、收费、评测、以及「这个模型怎么调用」不在那边。短信和邮箱通道也不在那边。