Ollama는 로컬 머신에서 오픈소스 LLM을 돌리게 해주는 런타임입니다. ollama run llama3.2 한 줄이면 모델 다운로드·양자화·로드·채팅까지 처리하고, 뒷단에서 llama.cpp를 활용해 CPU·Apple Silicon·NVIDIA GPU를 모두 지원합니다.

OpenAI 호환 API(localhost:11434)도 제공해서, 기존 OpenAI SDK 코드의 base_url만 바꾸면 로컬 모델로 바로 전환됩니다. 로컬 LLM 입문의 사실상 표준 도구입니다.

→ 원본 소스: Ollama GitHub