Открыть сервисСервис

Ollama — платформа для запуска языковых моделей локально

Ollama — это бесплатная программа с открытым исходным кодом, предназначенная для загрузки и запуска больших языковых моделей (LLM) на локальном компьютере пользователя. Программа работает под управлением macOS, Linux и Windows, позволяет запускать модели без подключения к облачным сервисам и предоставляет как графический интерфейс, так и командную строку и HTTP-интерфейс.

Общие сведения

Ollama написана на языке Go и использует библиотеку Llama.cpp для инференса моделей семейства Llama, а также поддерживает другие архитектуры — Mistral, Gemma, Qwen, Phi, DeepSeek и другие. Программа упаковывает веса моделей в собственный формат GGUF и автоматически подбирает параметры квантизации под доступные ресурсы устройства.

Основная идея проекта — сделать запуск локальных языковых моделей простым и доступным даже на обычных ноутбуках без выделенных видеокарт. Для этого Ollama использует квантованные версии моделей (например, 4-битные), которые существенно снижают требования к оперативной памяти.

Возможности

  • Управление моделями. Команды ollama pull, ollama list, ollama rm позволяют скачивать, просматривать и удалять модели из локального хранилища.
  • Запуск моделей. Команда ollama run <модель> запускает интерактивный диалог с моделью прямо в терминале.
  • HTTP API. Ollama поднимает локальный сервер (по умолчанию на порту 11434), который предоставляет REST API для генерации текста, создания эмбеддингов и потоковой выдачи ответов.
  • Системные промпты и параметры. Пользователь может задавать системные инструкции, температуру, лимит токенов и другие параметры генерации.
  • Модели с настройкой. Поддерживается создание собственных вариантов моделей через файл Modelfile — можно задать системный промпт, набор параметров и объединить несколько моделей.
  • Интеграция с другими инструментами. Благодаря HTTP-интерфейсу Ollama используется в качестве бэкенда для различных приложений, включая веб-интерфейсы Open WebUI, инструменты разработки и системы RAG.

Установка и использование

Установка Ollama выполняется одной командой или установщиком для Windows. После запуска программы в фоновом режиме запускается локальный сервер, к которому подключаются клиенты. Стандартный сценарий выглядит так:

  1. Установить Ollama.
  2. Скачать модель командой ollama pull llama3 (или другую).
  3. Запустить диалог командой ollama run llama3.

Для работы с моделями через API достаточно обратиться к http://localhost:11434/api/generate или /api/chat` с соответствующим запросом.

Модели в Ollama

В реестре Ollama доступны десятки моделей разного размера — от лёгких (1–3 млрд параметров), работающих на обычном ноутбуке, до крупных моделей (70 млрд и более), которым требуется мощное оборудование. Среди популярных вариантов — Llama 3, Mistral, Gemma, Qwen, DeepSeek, Phi. Размер скачиваемого файла зависит от степени квантизации и составляет от нескольких гигабайт до десятков гигабайт.

Применение

Ollama применяется в нескольких основных сценариях:

  • Локальная работа с ИИ. Генерация текста, перевод, суммаризация, ответы на вопросы без отправки данных в облако — важно для конфиденциальных задач.
  • Разработка. Программисты используют Ollama как локальный заменитель облачных API (например, OpenAI) при создании приложений на базе языковых моделей.
  • Образование и исследования. Возможность экспериментировать с разными моделями и параметрами без затрат на облачные сервисы.
  • Встраивание в продукты. Компании разворачивают Ollama на собственных серверах, чтобы предоставлять сотрудникам доступ к LLM внутри корпоративной сети.

Ограничения

Локальный запуск моделей имеет ряд ограничений. Качество генерации у небольших квантованных моделей уступает крупным облачным моделям. Производительность сильно зависит от оборудования: на слабых компьютерах генерация может быть медленной. Кроме того, Ollama не предоставляет готового веб-интерфейса — для удобного общения с моделью через браузер обычно используют сторонние решения, такие как Open WebUI.

Развитие проекта

Проект Ollama появился в 2023 году и быстро стал одним из самых популярных инструментов для локального запуска языковых моделей. Регулярные обновления добавляют поддержку новых архитектур моделей, улучшают производительность и расширяют возможности API. Активное сообщество создало множество интеграций и обёрток над Ollama, что закрепило его позиции в экосистеме локального ИИ.

Источники:

  • Документация Ollama (ollama.com/blog)
  • Репозиторий проекта на GitHub (github.com/ollama/ollama)
  • Llama.cpp — библиотека для инференса моделей (github.com/ggml-org/llama.cpp)
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru