News
ALoDLM 研究提出按 token 难度分配计算,8B 模型权重已公开
Amazon AGI 等机构研究者提出 ALoDLM,让扩散语言模型按 token 难度分配迭代计算。论文报告 1.7B 和 8B 两种规模的实验;Amazon 的 8B 权重页面已开放。
来自 Amazon AGI 等机构的研究者提出 ALoDLM,以 token 自适应潜在循环替代统一计算深度:容易预测的 token 提早确定,较难部分继续迭代。论文报告 1.7B、8B 两种模型,在作者测试的 11 项基准上优于所比较的扩散模型及对应自回归基线。
Amazon 在 Hugging Face 发布了 ALoDLM-8B 模型页面。上述成绩是论文给出的特定评测结论,不代表所有任务或部署条件下都更强。
参考:arXiv 原始来源