OpenAI长期以来一直声称自己享有合理使用辩护，但这些案件的原告辩称，美国版权法中没有针对训练数据的例外规定。
这项研究由华盛顿大学、哥本哈根大学和斯坦福大学的研究人员共同撰写，提出了一种新方法来识别由OpenAI等API背后的模型“记忆”的训练数据。
模型是预测引擎。经过大量数据的训练，它们会学习模式—这就是它们能够生成文章、照片等内容的方式。大多数输出都不是训练数据的逐字复制，但由于模型“学习”的方式，有些不可避免地是。人们发现图像模型会复述它们训练过的电影的截图，而语言模型则被发现会剽窃新闻文章。
这项研究的方法依赖于合著者称之为“高意外”的单词——即在大量文献中显得不常见的单词。例如，句子“杰克和我静静地坐着，雷达嗡嗡作响”中的“雷达”一词将被视为高意外，因为从统计上讲，它比“引擎”或“收音机”等词出现在“嗡嗡声”之前的可能性更小。
合著者们探究了包括GPT-4和GPT-3.5在内的几种OpenAI模型，以寻找记忆的迹象。他们从小说和《纽约时报》文章的片段中删除了出乎意料的单词，并让模型尝试“猜测”哪些单词被掩盖了。合著者们总结道，如果模型猜对了，那么它们很可能在训练期间记住了这些片段。
根据测试结果，GPT-4显示出记忆部分流行小说的迹象，包括一个名为BookMIA的包含版权电子书样本的数据集中的书籍。结果还表明，该模型记忆了《纽约时报》文章的部分内容，尽管速度相对较低。
华盛顿大学博士生、这项研究的共同作者阿比拉沙·拉维昌德(AbhilashaRavichander)表示，这一发现揭示了模型可能接受过哪些“有争议的数据”训练。
“为了拥有值得信赖的大型语言模型，我们需要拥有可以进行科学探索、审核和检查的模型，”Ravichander说。“我们的工作旨在提供一种探索大型语言模型的工具，但整个生态系统确实需要更高的数据透明度。”
OpenAI长期以来一直主张 放宽对使用受版权保护的数据开发模型的限制 。尽管该公司已经达成了某些内容许可协议，并提供了选择退出机制，允许版权所有者标记他们不希望公司用于培训目的的内容，但它已经游说多个政府制定有关人工智能培训方法的“合理使用”规则。
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】