This commit is contained in:
2026-05-12 13:45:08 +08:00
parent e81df5ce5a
commit 37d3461983
38 changed files with 1721 additions and 1113 deletions

View File

@@ -1,4 +1,4 @@
# model-asynch模型异步中间件
# model-asynch模型异步中间件[2026.5.12前,暂时弃置]
一个独立的异步中间件服务:按模型配置路由调用不同模型服务,统一生成 `task_id`,后台异步执行,结果上传 OSS并提供查询/批量领取/自动重试/自动清理能力,便于业务方“拿走结果并转移”。
@@ -69,6 +69,16 @@
参数说明:
- `modelName`:模型名称(唯一标识/路由键)
- `modelsType`模型类型ID列表逗号分隔示例`1,2,3`(关联 `asynch_models_type.type_id`
### 模型类型同步
- `POST /model/type/createModelType` 创建成功后,会同步 `POST``prompts-core``/prompt/createPrompt`
- 同步字段映射:
- `typeId` -> `modelTypeId`
- `type` -> `modelType`
- `promptInfo` -> `promptInfo`
- `responseJsonSchema` -> `responseJsonSchema`
- `version` -> `version`
-`prompts-core` 同步失败,`model-gateway` 会回滚本地新建的模型类型,避免两边数据不一致
- `form`动态表单配置JSON数组用于前端按模型渲染参数表单字段示例field/label/type/required
- `baseUrl`模型服务地址Base URL
- `route`:模型服务路由(拼接到 baseUrl 后)
@@ -94,7 +104,7 @@
>
> `callbackUrl` 用于任务成功后的回调通知:当任务 `state=2` 成功时,中间件会发起一次 GET 请求:
> - 实际回调地址:`callbackUrl/{bizName}`
> - query 参数:`task_id/state/oss_file/file_type`
> - query 参数:`task_id/state/oss_file/file_type/text(可选最多2000字符)`
### 第三步:同步任务进度(推荐批量)
业务方通过轮询/定时任务同步进度:
@@ -107,9 +117,28 @@
### 后台执行(由上层定时任务控制)
本项目不再在服务进程内常驻轮询 worker/cleaner而是提供两个接口供上层定时任务触发
- `POST /task/runWork`:执行一次 Worker抢占并处理一批排队任务
- `POST /task/runWork`:执行一次 Worker抢占并处理一批排队任务;适合处理 createTask 立即执行时未处理到的任务和积压队列
- `POST /task/cleanWork`:执行一次 Cleaner清理过期任务、失败重试、超时任务失败等
创建任务执行策略:
- `POST /task/createTask` 成功入库后,会立即异步尝试执行当前任务。
- 若当前模型并发已满,或当前任务未成功抢占,则会按 `asynch.worker.intervalSeconds` 对当前任务做轻量级定向轮询;只要任务仍为 `state=0` 就继续尝试,一旦进入 `state=1/2/3/4` 就立即停止,不会一直轮询。
- 若任务执行成功且配置了 `callbackUrl + bizName`,会在成功落库后异步触发回调钩子。
本地调试(可选):
可在 `config.yml` 中开启自动执行,避免手工频繁调用接口:
```yml
asynch:
worker:
enabled: true
intervalSeconds: 5
batchSize: 10
goroutines: 1
cleaner:
enabled: true
intervalSeconds: 30
```
### 动态并发/队列调参(接口请求控制)
为支持根据最近一段时间的耗时与吞吐对 `max_concurrency/queue_limit` 做动态调整,本项目提供接口供上层定时任务触发(建议每小时一次):
- `POST /model/autoTune`