AT&T正借助开源大模型 削减向Anthropic支付的账单

AT&T副总裁马克・奥斯汀透露，这家电信企业计划在未来几年控制员工调用Anthropic、OpenAI闭源模型产生的费用，保持支出持平，方案就是更多采用英伟达的Nemotron等开源大模型。oGC品论天涯网

oGC品论天涯网

奥斯汀负责管理公司供10万名员工使用的人工智能工具，覆盖代码编写、财务分析、人力资源配套工具、客服支撑系统等各类场景。虽然AT&T也面向消费者推出部分AI功能（例如手机应用内置聊天机器人），但其人工智能的绝大多数应用都集中在内部业务。oGC品论天涯网

奥斯汀表示，过去一年间，AT&T大幅提升开源模型的使用占比，目前员工发起的AI调用请求中，已有40%由开源模型承载。企业规划在未来数年，将这一比例提升至60%~70%。oGC品论天涯网

奥斯汀称，实测发现开源模型的效果“和Anthropic、OpenAI等厂商推出的旧版闭源模型持平，甚至更优”。举例来说，公司软件开发人员处理代码生成这类复杂任务时，仍会选用顶尖闭源模型；但代码摘要生成这类轻量化工作，完全可以改用成本更低的开源模型。“我们预计开源模型后续还会持续迭代优化。”oGC品论天涯网

AT&T还部署了模型路由工具，可根据任务复杂程度，自动把员工的请求分配至成本更低的模型，以此节约开支。奥斯汀介绍，接入路由服务商LiteLLM之后，代码编写这类高阶AI任务的成本最高下降56%，而AI输出质量仅降低2%。oGC品论天涯网

奥斯汀介绍，AT&T于2023年自研核心内部AI系统AskAT&T，该系统最初完全依托通过微软云采购的OpenAI模型运行。如今这项员工通用服务已接入多款模型，覆盖多样办公场景：开发人员编写、修改代码；员工查询公司人事制度；销售人员实时记录会谈内容、整理客户通话纪要；客服人员通话时检索业务资料。oGC品论天涯网

奥斯汀提到，使用AskAT&T的开发人员可以自主选择特定模型或智能代理工具，包括GitHubCopilot、Devin、ClaudeCode、Codex，但相关调用设有费用上限。oGC品论天涯网

目前AskAT&T每日处理450亿token（文本最小处理单元）。奥斯汀并未披露该系统的运维总成本，但依据OpenAI、Anthropic公开定价测算，如果全部采用这类闭源模型承载如此庞大的token处理量，每年至少耗费上亿美元。oGC品论天涯网

奥斯汀表示，除Nemotron以外，AT&T还使用Meta的Llama、谷歌Gemma等开源/开放权重模型。部分模型任务部署在自有数据中心，依托英伟达、AMD服务器芯片运行，相比向云厂商租用算力部署模型，自有算力方案通常成本更低。oGC品论天涯网

AT&T同时在评估来自中国的开源模型，包括深度求索（DeepSeek）、月之暗面（Moonshot），不过暂未投入业务使用，企业仍在评估使用这类模型潜在的各类风险。oGC品论天涯网

奥斯汀结合AT&T的落地经验总结：开源模型整体能力通常比前沿顶尖闭源模型落后6至10个月，但二者之间的性能差距正在持续缩小。oGC品论天涯网