当前位置:首页 > TAG信息列表 > SwiftInfer
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
要点:1. 国产开源项目SwiftInfer实现了无限流式输入推理,提升46%推理性能;2. 围绕流式超多轮对话,文章详细解释了StreamingLLM的attention sink注意力机制,窗口注意力优化、KV...
作者:2024-01-08 14:04
排行榜
编辑推荐
-
余斌:生产力——生活方式”的传导机制及其启示
-
赵丁琪:“文化冷战”与西方资产阶级的意识形态
-
余斌:论社会形态的划分
-
你不传播毛主席,他就传播华盛顿
关注我们
关注微信公众号,了解最新精彩内容