Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%

要点:1. 国产开源项目SwiftInfer实现了无限流式输入推理，提升46%推理性能;2. 围绕流式超多轮对话，文章详细解释了StreamingLLM的attention sink注意力机制，窗口注意力优化、KV...