58 lines
1.9 KiB
Markdown
58 lines
1.9 KiB
Markdown
# Модели Ollama для пайплайна
|
||
|
||
Используются две модели:
|
||
|
||
| Назначение | Модель в Ollama | Команда pull | Примечание |
|
||
|------------|-----------------|--------------|------------|
|
||
| LLM: анализ и валидация (шаги 1–4) | `qwen3:14b` | `ollama pull qwen3:14b` | ~9.3 GB (Q4_K_M). Ближе к 8bit: `qwen3:14b-q8_0` (~16 GB). |
|
||
| Эмбеддинги (шаг 6) | `bge-m3` | `ollama pull bge-m3` | ~1.2 GB, размерность 1024, контекст 8192. |
|
||
|
||
## Загрузка моделей при работе через Docker
|
||
|
||
1. Запустите контейнер Ollama:
|
||
|
||
```bash
|
||
docker compose up -d ollama
|
||
```
|
||
|
||
2. Дождитесь готовности (healthcheck), затем загрузите модели **внутри контейнера**:
|
||
|
||
```bash
|
||
# LLM для анализа глав и валидации
|
||
docker exec -it ollama ollama pull qwen3:14b
|
||
|
||
# Модель эмбеддингов
|
||
docker exec -it ollama ollama pull bge-m3
|
||
```
|
||
|
||
3. Проверка списка моделей:
|
||
|
||
```bash
|
||
docker exec ollama ollama list
|
||
```
|
||
|
||
или через API:
|
||
|
||
```bash
|
||
curl http://localhost:11434/api/tags
|
||
```
|
||
|
||
## Варианты LLM
|
||
|
||
- **qwen3:14b** — по умолчанию, меньше по размеру (~9.3 GB).
|
||
- **qwen3:14b-q8_0** — выше качество, ближе к «8bit» из архитектуры (~16 GB).
|
||
|
||
В коде пайплайна имя модели задаётся конфигом (например, `OLLAMA_LLM_MODEL=qwen3:14b`).
|
||
|
||
## Локальный Ollama (без Docker)
|
||
|
||
Если Ollama установлен локально:
|
||
|
||
```bash
|
||
ollama pull qwen3:14b
|
||
ollama pull bge-m3
|
||
ollama list
|
||
```
|
||
|
||
В `docker-compose` сервис `ollama` тогда можно не поднимать; скрипты должны обращаться к `http://localhost:11434`.
|