返回簇列表
传闻簇行为开启Mongo 实时数据

sPTC通过推测执行工具调用,报告最高约1.2倍加速

一篇推荐帖介绍了“推测式程序化工具调用”(sPTC):代理在模型生成代码时预测其中的工具调用,让安全调用先在环境副本中执行,使工具延迟与令牌生成和REPL执行重叠,错误预测则被丢弃。该方法目前报告约1至1.2倍提速,为代理工具调用的执行框架优化提供了新的技术路径。

成员
5
换头
0
最近活动
08/25 14:09:42
CONTENT GOVERNANCE

内容治理

在线

下线会立即隐藏 Defomo 内容,并联动撤回 Elys 全部 Feed、详情和分享入口;恢复不会补推历史 Feed。 本操作覆盖整个事件簇及未来新成员。

MEMBERS

簇内帖子

按进入簇的先后排序 · duplicate 不隐藏
#1
当前簇头 · 第 1 任独立事件二手报道

sPTC通过推测执行工具调用,报告最高约1.2倍加速

一篇推荐帖介绍了“推测式程序化工具调用”(sPTC):代理在模型生成代码时预测其中的工具调用,让安全调用先在环境副本中执行,使工具延迟与令牌生成和REPL执行重叠,错误预测则被丢弃。该方法目前报告约1至1.2倍提速,为代理工具调用的执行框架优化提供了新的技术路径。

DAIR.AI来源权威 3 级(1 级最高)发布于 08/25 04:44:20原帖 内容详情
去重判断LLM 复核 · 独立事件

簇级候选:3 个已有簇, 共 5 条代表

在 CozeLoop 查看判断
最终结果已修正为“独立事件”,以当前持久化状态为准。
#2
重复折叠二手报道

程序化工具调用新方法尝试提前执行以重叠模型生成与工具延迟

Alex Zhang 提出“推测式程序化工具调用”方法,在代码生成过程中预测工具调用,并将安全调用提前放入环境副本执行,使工具延迟与模型生成、REPL 执行并行;错误预测会被丢弃。发布者称目前可获得约 1 至 1.2 倍加速,显示代理工具调用的执行编排仍有优化空间。

elvis来源权威 3 级(1 级最高)发布于 08/25 04:42:50原帖 内容详情
去重判断LLM 复核 · 重复折叠

簇级候选:8 个已有簇, 共 10 条代表

归并到 sPTC通过推测执行工具调用,报告最高约1.2倍加速

在 CozeLoop 查看判断
#3
重复折叠二手报道

一种用于提前排队工具调用的推测式编程调用技术发布

Alex Zhang介绍“推测式程序化工具调用”(sPTC),这是一类在代码生成过程中预测工具调用、并在工具执行与后续令牌生成之间提前排队的通用技术。该思路聚焦于重叠生成与工具执行时间,意在减少涉及工具调用的代码生成等待。

elie来源权威 4 级(1 级最高)发布于 08/25 06:48:05原帖 内容详情
去重判断LLM 复核 · 重复折叠

簇级候选:4 个已有簇, 共 4 条代表

归并到 sPTC通过推测执行工具调用,报告最高约1.2倍加速

在 CozeLoop 查看判断
#4
重复折叠二手报道

推测性程序化工具调用技术可将工具执行与代码生成并行

一项名为“推测性程序化工具调用”的方案在代码生成阶段提前推测并排队工具调用,让安全调用在环境副本中先行执行,与令牌生成和REPL执行重叠;错误预测会被丢弃,当前介绍称可带来约1至1.2倍加速。该方法显示,智能体性能优化正从模型本身延伸到工具调用编排层,但目前仍属于早期技术探索。

elvis来源权威 3 级(1 级最高)发布于 08/25 11:01:34原帖 内容详情
去重判断LLM 复核 · 重复折叠

簇级候选:3 个已有簇, 共 3 条代表

归并到 sPTC通过推测执行工具调用,报告最高约1.2倍加速

在 CozeLoop 查看判断
#5
重复折叠二手报道

Alex Zhang介绍推测式程序化工具调用技术

Alex Zhang介绍“推测式程序化工具调用”:在代码生成执行框架中,先对可能发生的工具调用进行推测并提前排队,使其与模型生成令牌及交互式解释器执行时间重叠。Andy Konwinski表示该方向与自己的研究兴趣高度契合,并提及早期关于推测式任务执行的论文及与 Alex 的学术谱系关联。该方法为缩短大语言模型代码执行场景中的工具调用等待、提升执行效率提供了新的研究路径。

Andy Konwinski来源权威 4 级(1 级最高)发布于 08/25 13:43:48原帖 内容详情
去重判断LLM 复核 · 重复折叠

簇级候选:4 个已有簇, 共 5 条代表

归并到 sPTC通过推测执行工具调用,报告最高约1.2倍加速

在 CozeLoop 查看判断