tech/docs/ollama-models.md

Модели Ollama для пайплайна

Используются две модели:

Назначение	Модель в Ollama	Команда pull	Примечание
LLM: анализ и валидация (шаги 1–4)	qwen3:14b	ollama pull qwen3:14b	~9.3 GB (Q4_K_M). Ближе к 8bit: qwen3:14b-q8_0 (~16 GB).
Эмбеддинги (шаг 6)	bge-m3	ollama pull bge-m3	~1.2 GB, размерность 1024, контекст 8192.

Загрузка моделей при работе через Docker

1. Запустите контейнер Ollama:

   docker compose up -d ollama
   

2. Дождитесь готовности (healthcheck), затем загрузите модели внутри контейнера:

   # LLM для анализа глав и валидации
   docker exec -it ollama ollama pull qwen3:14b
   
   # Модель эмбеддингов
   docker exec -it ollama ollama pull bge-m3
   

3. Проверка списка моделей:

   docker exec ollama ollama list
   

   или через API:

   curl http://localhost:11434/api/tags
   

Варианты LLM

• qwen3:14b — по умолчанию, меньше по размеру (~9.3 GB).
• qwen3:14b-q8_0 — выше качество, ближе к «8bit» из архитектуры (~16 GB).

В коде пайплайна имя модели задаётся конфигом (например, OLLAMA_LLM_MODEL=qwen3:14b).

Локальный Ollama (без Docker)

Если Ollama установлен локально:

ollama pull qwen3:14b
ollama pull bge-m3
ollama list

В docker-compose сервис ollama тогда можно не поднимать; скрипты должны обращаться к http://localhost:11434.