北京大学发布EAGLE 大模型推理效率无损提升3倍

要点:EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布，将大模型推理效率提升3倍。EAGLE采用外推大语言模型的第二顶层特征向量的方法，相较于普通自回归解码，其推...