微软发布 AI 智能体 LLM 路由参考架构，最高可节省 85% 成本

微软发布在 Azure Kubernetes Service 上路由 AI 智能体流量的参考架构，结合 RouteLLM、agentgateway 等组件，通过语义路由将简单请求分配给低成本模型，最高可节省 85% 的推理成本。该方案为开发者在循环中发起大量 LLM 调用的场景提供了有效的成本控制与负载均衡策略，有助于优化 GPU 资源利用率。