新型AI模型路由器支持基于KV缓存与会话历史的动态调度

摘要与判断

一款新型AI模型路由器公布了其核心调度机制与定价方案。该路由器通过综合评估KV缓存状态、子代理结构、压缩事件及完整会话历史来推荐模型与推理级别，每次调用增加100-150毫秒延迟。其提供的隐私保护模式确保有效载荷不出栈，按量付费价格为每百万token 0.05美元起。该工具为开发者提供了更精细的模型路由选择，但目前尚未公布具体产品名称。

Topics

引用和原文

• The router weighs KV cache state, sub-agent structure, compaction events, and the full ses
• 原文链接

Trace

Raw Item

raw_bd5aea5a5fe843e1

Processed Item

processed_da56839f7b734e8a

Source

source_x_feishu_candidate_testingcatalog

Cluster

查看所属簇

LLM Logs

llm_43c72e19be994579, llm_4cdd6e5692f146a2, llm_4da4b829919b4431

Coze Loop

dc42c8212cce5e231ef20b8cff0b1542