Linuxeden开源社区Red Hat 工程师一直在将 Ramalama 开发为一个新的开源项目，希望通过这种推理工具“让 AI 变得无聊”，力求简单，以便用户可以快速轻松地部署 AI 工作负载，而无需大惊小怪。
Ramalama 利用 OCI 容器，可以轻松地跨 GPU 供应商运行 AI 推理工作负载，在没有 GPU 支持的情况下无缝回退到基于 CPU 的推理，并与 Podman 和 Llama.cpp 接口，在从 Hugging Face 和 Ollama Registry 等机构获取模型时完成繁重的工作。目标是让原生 GPU 支持在 Intel、NVIDIA、Arm 和 Apple 硬件上运行。CPU 支持包括 AMD、Intel、RISC-V 和 Arm。
Ramalama 最近在 Fedora 的 Flock 大会上被介绍为“无聊的 AI 伴侣”，并进一步描述为：
在一个由尖端创新和复杂解决方案主导的领域中，ramalama 项目以一个令人耳目一新的简单使命脱颖而出：“让 AI 变得无聊”。本次演讲深入探讨了 ramalama 的理念和功能，ramalama 是一种旨在为更广泛的受众简化 AI 和机器学习的工具。通过将“无聊”作为一种美德，ramalama 专注于创建可靠、用户友好且易于访问的工具，这些工具可以在没有大张旗鼓的情况下工作。
我们将探讨 ramalama 的核心功能，从简单的安装过程到用于管理和部署 AI 模型的直观命令。无论您是列出、拉取、运行还是提供模型，ramalama 都能确保体验无忧且愉快，满足从 AI 爱好者到休闲技术用户的每个人的需求。
作为一个早期项目，ramalama 不断发展，非常强调社区参与和反馈。加入我们，我们将揭开 ramalama 如何让所有人都能使用先进的 AI，去除复杂性和炒作，提供既强大又实用的工具。让我们以最好的方式拥抱让人工智能变得“无聊”的旅程，并发现简单性和可靠性的乐趣。
Ramalama 的早期代码托管在 GitHub 上。总的来说，这当然是一项值得的努力，可以更轻松地在不同的硬件和软件平台上运行/部署不同的 AI 模型。Mozilla 的 Llamafile 是另一项有价值的努力，因为它使从单个文件运行 GPU 或 CPU 加速的 AI 模型变得容易，而不需要走容器的路线。
那些希望了解更多关于 Ramalama 的人可以在下面找到他们的 Flock 2024 演讲，演讲者是 Red Hat 的 Eric Curtin 和 Dan Walsh。