编译／安德烈
随着人工智慧（AI）技术的迅速发展，越来越多的开发者，希望在不依赖第三方云端服务的情况下，在设备内运行如Meta的Llama 3.1等先进模型，为此，Ollama也已经成为帮助开发者和研究人员在自己的硬体上，轻松运行和管理机器学习模型的强大开源平台，并能透过其在Mac、Linux和Windows上设置和运行Llama 3.1及私有托管模型。
Ollama简介
Ollama由一群AI爱好者和工程师开发，旨在提供确保数据隐私、灵活性和控制的工具，该平台支援多种AI模型，为那些希望探索和利用AI技术，而不依赖第三方云端服务的人提供了一个宝贵的资源。
更多新闻：Meta发布超强新Llama模型 超越GPT-4o和Claude
设置和运行步骤
要在Mac或PC上运行Ollama和Llama 3.1模型，首先要到Ollama的下载页面，下载并安装适用於自己设备操作系统的安装程式，安装完成後，打开终端或命令提示符，运行「ollama run llama3.1:8b」命令，以加载8B参数的Llama 3.1模型。
为了添加WebUI，用户也需要安装Docker Desktop，并运行命令启动Open WebUI，然後进入Docker仪表板，最後，再使用Continue将Ollama整合到自己的IDE中，这样就能利用AI驱动的功能，如程式码建议、自动完成和调试帮助等。
在设备上运行AI的好处
随着Ollama的出现，开发者和研究人员现在可以在自己的硬体上，运行和管理各种AI模型，而不必依赖第三方云端服务，不仅提升了数据隐私和灵活性，还为探索和创新提供了更大的空间，无论是使用Ollama在Mac、Linux或Windows上运行Llama 3.1，还是整合强大的GPU进行扩展，这些方法都能帮大家在AI领域中获得更大的成功。
参考资料：zdnet
