快讯
Inco AI发布DFlash 2,提升推测解码并行草稿效率
Inco AI发布DFlash 2。按其测试,在约增加1%单周期延迟的情况下,每次验证可接受的输出提高逾20%,不同基准上的提升约为16%至25%。
Inco AI发布DFlash 2,用于提高推测解码中的并行草稿效率。
按公司公布的测试,在约增加1%单周期延迟的情况下,每次验证可接受的输出提高逾20%,不同基准上的提升约为16%至25%。这些数字来自发布方测试,实际收益会受模型、硬件和工作负载影响。
参考:Inco AI官方公告