init
This commit is contained in:
57
docs/ollama-models.md
Normal file
57
docs/ollama-models.md
Normal file
@@ -0,0 +1,57 @@
|
||||
# Модели Ollama для пайплайна
|
||||
|
||||
Используются две модели:
|
||||
|
||||
| Назначение | Модель в Ollama | Команда pull | Примечание |
|
||||
|------------|-----------------|--------------|------------|
|
||||
| LLM: анализ и валидация (шаги 1–4) | `qwen3:14b` | `ollama pull qwen3:14b` | ~9.3 GB (Q4_K_M). Ближе к 8bit: `qwen3:14b-q8_0` (~16 GB). |
|
||||
| Эмбеддинги (шаг 6) | `bge-m3` | `ollama pull bge-m3` | ~1.2 GB, размерность 1024, контекст 8192. |
|
||||
|
||||
## Загрузка моделей при работе через Docker
|
||||
|
||||
1. Запустите контейнер Ollama:
|
||||
|
||||
```bash
|
||||
docker compose up -d ollama
|
||||
```
|
||||
|
||||
2. Дождитесь готовности (healthcheck), затем загрузите модели **внутри контейнера**:
|
||||
|
||||
```bash
|
||||
# LLM для анализа глав и валидации
|
||||
docker exec -it ollama ollama pull qwen3:14b
|
||||
|
||||
# Модель эмбеддингов
|
||||
docker exec -it ollama ollama pull bge-m3
|
||||
```
|
||||
|
||||
3. Проверка списка моделей:
|
||||
|
||||
```bash
|
||||
docker exec ollama ollama list
|
||||
```
|
||||
|
||||
или через API:
|
||||
|
||||
```bash
|
||||
curl http://localhost:11434/api/tags
|
||||
```
|
||||
|
||||
## Варианты LLM
|
||||
|
||||
- **qwen3:14b** — по умолчанию, меньше по размеру (~9.3 GB).
|
||||
- **qwen3:14b-q8_0** — выше качество, ближе к «8bit» из архитектуры (~16 GB).
|
||||
|
||||
В коде пайплайна имя модели задаётся конфигом (например, `OLLAMA_LLM_MODEL=qwen3:14b`).
|
||||
|
||||
## Локальный Ollama (без Docker)
|
||||
|
||||
Если Ollama установлен локально:
|
||||
|
||||
```bash
|
||||
ollama pull qwen3:14b
|
||||
ollama pull bge-m3
|
||||
ollama list
|
||||
```
|
||||
|
||||
В `docker-compose` сервис `ollama` тогда можно не поднимать; скрипты должны обращаться к `http://localhost:11434`.
|
||||
Reference in New Issue
Block a user