OllamaはローカルマシンでオープンソースLLMを動かすランタイムです。ollama run llama3.2の一行でモデルのダウンロード・量子化・ロード・チャットまで一括処理し、裏でllama.cppを使うためCPU・Apple Silicon・NVIDIA GPUをすべてサポートします。

OpenAI互換API(localhost:11434)も備えており、既存のOpenAI SDKコードでbase_urlを差し替えるだけでローカルモデルに切り替わります。ローカルLLM入門の事実上の標準ツールです。

→ 原典: Ollama GitHub