一、Ollama 简介
Ollama 是一个专注于本地化部署和运行大型语言模型（LLM）的工具，旨在让用户能够在自己的设备上高效地运行和微调模型。它由 Ollama 团队开发，这是一家独立的初创公司，由 Michael Chiang 和 Jeffrey Morgan 创立，总部位于加利福尼亚州帕洛阿尔托 。Ollama 的代码完全开源，遵循 MIT 开源协议，其开源地址为：https://github.com/ollama/ollama ，用户可以自由查看、修改和分发。其主要特点包括：
跨平台支持：兼容 Windows、Linux、MacOS 系统。
丰富模型库：提供 1700 + 大语言模型，如 Qwen、Llama 等，可在官网 model library 中直接下载使用。
用户模型上传：支持将 huggingface 等地方的 ggml 格式模型导入使用，也能将基于 pytorch 等格式的模型转换为 ggml 格式后导入。
自定义配置：用户可通过编写 modelfile 配置文件自定义模型推理参数，如 temperature、top_p 等，调节模型生成效果。
多 GPU 并行加速：支持多 GPU 并行推理加速，在多卡环境下可设置环境变量指定特定 GPU。
more >>