Linuxeden开源社区Llamafile 是 Mozilla 的开源项目，它允许将大型语言模型作为单个文件分发，该文件可以跨操作系统工作，在 CPU 或 GPU 上运行，并且全方位使分发和运行 LLM 变得更加容易。这个 Mozilla Builders 项目以新功能的发布结束了这个周末。
Llamafile 0.8.14 连夜发布，适用于此开源代码，用于简化大型语言模型部署。在 Llamafile 0.8.14 版本中，有一个新的 CLI 聊天机器人界面。这个新的 CLI 聊天机器人界面支持多行输入、Python / C / C++ / Java / JavaScript 代码的语法高亮显示以及各种其他功能。如果未指定任何替代参数，则此新聊天机器人界面是运行 Llamafile 文件时的默认操作模式。这个聊天机器人的灵感来自 ollama。
Llamafile 0.8.14 的其他一些更改包括使用 BF16 KV 缓存以获得更快的性能、始终支持 tinyBLAS 中的 FP16 算法、对 GPU 的 llamafile-bench 支持以及各种其他更改。
通过 GitHub 下载有关 Llamafile 0.8.14 版本的更多详细信息。
转自 Llamafile 0.8.14 Introduces New CLI Chatbot Interface – Phoronix