Mellum经过超过4万亿个标记的训练，包含40亿个参数，专为代码补全（即根据周围环境补全代码片段）而设计。参数大致对应于模型解决问题的能力，而标记则是模型处理的原始数据。一百万个标记相当于约3万行代码。
JetBrains在一份技术报告中解释道：“Mellum专为集成到专业开发人员工具（例如，集成开发人员环境中的智能代码建议）、人工智能编码助手以及代码理解和生成研究而设计，也非常适合教育应用和微调实验。 ”
JetBrains表示，他们使用一系列数据集对Mellum进行了训练，该模型获得了Apache2.0许可，其中包括来自GitHub和英文维基百科文章的许可代码。在256块H200NVIDIAGPU集群上，训练耗时约20天。
Mellum的启动和运行需要一些工作。基础模型无法开箱即用，必须先进行微调。虽然JetBrians提供了一些针对Python微调的Mellum模型，但该公司提醒称，这些模型旨在“评估潜在能力”，而非部署到生产环境中。
人工智能生成的代码无疑正在改变软件的构建方式，但它也带来了新的安全挑战。根据开发者安全平台Snyk在2023年末进行的一项调查，超过50%的组织有时或经常遇到人工智能生成的代码的安全问题。
事实上，JetBrains指出，Mellum可能“反映公共代码库中存在的偏见”（例如，生成与开源存储库风格相似的代码），并且其代码建议不一定“安全或没有漏洞”。
JetBrains在一篇博客文章中写道：“这仅仅是个开始。我们不追求通用性——我们只是在建立焦点。如果Mellum能够激发哪怕一次有意义的实验、贡献或合作，我们都会认为这是一次胜利。”
相关文章
头条焦点
精彩导读
关注我们
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】