程序员开发出一种在 DOS 上本地运行 Llama 2 的方法-品论天涯网

一位开发人员独自花了一个周末的时间，尝试在老式的DOS机器上运行Llama2大语言模型。得益于随时可用的开源代码，该项目最终成功了。然而，将Llama2适配到古老的DOS环境并非易事。Y0H品论天涯网

YeoKhengMeng是一位程序员，曾因开发ChatGPT的DOS客户端而闻名。最近，他启动了一个新的AI相关项目，专注于过去基于提示的计算环境。他的最新成果是一个完全基于DOS的大型语言模型(LLM)，可以离线执行推理任务。Y0H品论天涯网

FreeDOS项目指出，孟使用Meta于2023年发布的Llama2模型开发了DOSLLM客户端。这位程序员在搭载新旧组件的系统上测试了该软件，并在ThinkpadT42（2004年）和东芝Satellite315CDT（1996年）之间进行了惊人的性能对比。不出所料，在旧系统上运行LLM耗时许久。Y0H品论天涯网

他借助llama2.c（一个旨在快速将Llama2模型移植到各种系统和硬件平台的开源项目）开发了一个功能齐全的DOSLLM。Meng解释说，尽管llama2.c的编写初衷是提高可移植性，但它仍然需要进行一些编码调整，以应对传统计算环境的挑战。Y0H品论天涯网

程序员必须选择合适的DOS扩展工具才能访问超过传统640KB常规内存的更大RAM池。他还必须修改OWC编译器，因为llama2.c需要功能相对先进的C编译器。在调整编译过程后，Meng创建了一个可以在他的DOS系统上运行的、功能齐全的llama2二进制文件。Y0H品论天涯网

这位程序员对几台运行MS-DOS6.22的系统进行了基准测试，从老式的486DX266MHzPC到现代的基于Ryzen的台式机。不出所料，新系统提供了更快的推理速度。令人惊讶的是，搭载1.7GHzPentiumM处理器的ThinkPadT42的性能甚至超过了16年后发布的ThinkPadX13G1。Y0H品论天涯网

Meng将llama2.c的测试、文档编写以及移植到DOS的过程描述为一个周末的项目。他感谢开源llama2.c的AndrejKarpathy使这一切成为可能。Y0H品论天涯网