人工智能初创公司Anthropic今日宣布，其广受欢迎的Claude Sonnet4LLM模型现已支持高达100万个上下文词元。继GoogleGemini之后，Anthropic成为第二家提供100万个上下文词元的主流模型提供商。
此前，ClaudeSonnet4API仅支持20万个上下文词元。此次扩容五倍后，开发者可以在单个请求中发送超过75000行代码的整个代码库。
扩展上下文支持现已在AnthropicAPI和AmazonBedrock上进行公开测试，GoogleCloudVertexAI也即将上线。不过，长上下文支持目前仅限于Tier4开发者，且需自定义速率限制。Anthropic指出，未来几周将向更多开发者开放此功能。
由于更大的词元窗口需要更高的算力，Anthropic推出了特殊定价。对于20万个词元以下的提示，Sonnet4的费用为每百万个输入词元3美元，每百万个输出词元15美元。对于超过20万个词元的提示，费用为每百万个输入词元6美元，每百万个输出词元22.5美元。
开发者可以通过使用快速缓存和批处理来降低成本。例如，批处理可以为1M上下文窗口定价提供50%的折扣。
在最近Reddit的AMA会议上，OpenAI的领导者们讨论了为其模型支持长上下文窗口的问题。OpenAI首席执行官SamAltman表示，OpenAI尚未发现用户对长上下文长度的强烈需求，但如果有足够多的兴趣，他们愿意支持它。由于计算能力受限，他们希望专注于其他优先事项。
OpenAI团队的MichellePokrass写道，他们本来希望在GPT-5中提供更长的上下文，最多100万个词元，特别是对于API用例，但由于GPU需求量大，他们没有这样做。
Anthropic的1M上下文支持使其在长上下文功能方面与GoogleGemini直接竞争，这给OpenAI带来了重新考虑其路线图的压力。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】