This commit is contained in:
2026-02-01 17:01:21 +03:00
commit 9575eaf8ee
144 changed files with 24025 additions and 0 deletions

57
docs/ollama-models.md Normal file
View File

@@ -0,0 +1,57 @@
# Модели Ollama для пайплайна
Используются две модели:
| Назначение | Модель в Ollama | Команда pull | Примечание |
|------------|-----------------|--------------|------------|
| LLM: анализ и валидация (шаги 14) | `qwen3:14b` | `ollama pull qwen3:14b` | ~9.3 GB (Q4_K_M). Ближе к 8bit: `qwen3:14b-q8_0` (~16 GB). |
| Эмбеддинги (шаг 6) | `bge-m3` | `ollama pull bge-m3` | ~1.2 GB, размерность 1024, контекст 8192. |
## Загрузка моделей при работе через Docker
1. Запустите контейнер Ollama:
```bash
docker compose up -d ollama
```
2. Дождитесь готовности (healthcheck), затем загрузите модели **внутри контейнера**:
```bash
# LLM для анализа глав и валидации
docker exec -it ollama ollama pull qwen3:14b
# Модель эмбеддингов
docker exec -it ollama ollama pull bge-m3
```
3. Проверка списка моделей:
```bash
docker exec ollama ollama list
```
или через API:
```bash
curl http://localhost:11434/api/tags
```
## Варианты LLM
- **qwen3:14b** — по умолчанию, меньше по размеру (~9.3 GB).
- **qwen3:14b-q8_0** — выше качество, ближе к «8bit» из архитектуры (~16 GB).
В коде пайплайна имя модели задаётся конфигом (например, `OLLAMA_LLM_MODEL=qwen3:14b`).
## Локальный Ollama (без Docker)
Если Ollama установлен локально:
```bash
ollama pull qwen3:14b
ollama pull bge-m3
ollama list
```
В `docker-compose` сервис `ollama` тогда можно не поднимать; скрипты должны обращаться к `http://localhost:11434`.