init
This commit is contained in:
31
4_валидация_тегов/README.md
Normal file
31
4_валидация_тегов/README.md
Normal file
@@ -0,0 +1,31 @@
|
||||
# Валидация тегов (шаг 4)
|
||||
|
||||
Отдельный шаг пайплайна после извлечения тегов (шаг 3). Проверка релевантности каждого тега содержанию главы, соответствие каркасу/инсайтам/применению, фильтрация нерелевантных и слишком общих тегов, обновление confidence scores.
|
||||
|
||||
## Промпт
|
||||
|
||||
| Файл | Назначение |
|
||||
|------------------|-------------------------------------------------|
|
||||
| validate_tags.txt | Валидация извлечённых тегов по анализу и тексту главы |
|
||||
|
||||
## Подстановки
|
||||
|
||||
- `{book_title}` — название книги
|
||||
- `{chapter_title}` — название главы
|
||||
- `{extracted_tags_json}` — JSON из шага 3 (tags по категориям + proposed)
|
||||
- `{framework}` — JSON блока framework
|
||||
- `{insights}` — JSON блока insights
|
||||
- `{application}` — JSON блока application
|
||||
- `{chapter_text}` — выдержка текста главы (для проверки релевантности)
|
||||
|
||||
## Вход
|
||||
|
||||
Извлечённые теги (шаг 3) + валидированный анализ главы (framework, insights, application) + оригинальный текст главы.
|
||||
|
||||
## Выход
|
||||
|
||||
JSON: проверенные теги по категориям с обновлёнными confidence; теги, снятые при валидации, — в блоке `removed` (tag, category, reason). Формат `tags` совпадает с выходом шага 3 для передачи в эмбеддинг и сохранение в БД.
|
||||
|
||||
## Использование
|
||||
|
||||
Вызывается после шага 3 (извлечение тегов). Модель: qwen3-14b:8bit (или аналог). Время: ~20–30 сек на главу.
|
||||
67
4_валидация_тегов/validate_tags.txt
Normal file
67
4_валидация_тегов/validate_tags.txt
Normal file
@@ -0,0 +1,67 @@
|
||||
Ты валидатор тегов главы. Цель: снять только теги без опоры в главе или анализе; теги с опорой — оставлять, при необходимости понижая confidence. Не повышай confidence — только понижай или оставляй без изменений (калибровка уже сделана на шаге 3).
|
||||
|
||||
Контекст:
|
||||
- Книга: "{book_title}"
|
||||
- Глава: "{chapter_title}"
|
||||
|
||||
Извлечённые теги (JSON из шага 3): {extracted_tags_json}
|
||||
|
||||
Данные анализа (JSON-блоки):
|
||||
- Каркас: {framework}
|
||||
- Инсайты: {insights}
|
||||
- Применение: {application}
|
||||
|
||||
Оригинальный текст главы (выдержка): {chapter_text}
|
||||
|
||||
---
|
||||
|
||||
## ЗАДАЧА
|
||||
|
||||
Проверь каждый тег. В `removed` попадают **только** теги без опоры в главе и в анализе или противоречащие смыслу главы.
|
||||
|
||||
1. **Опора в анализе:** если тег есть в анализе (framework.terms, названия принципов/инсайтов/техник, цепочки cause–mechanism–result) — **не снимать**; при необходимости только **понизить** confidence. Снимать только при отсутствии связи с главой/анализом или при противоречии.
|
||||
|
||||
2. **«Слишком общий» — не повод снимать:** тег, входящий в framework (terms, principles) или в описание техник/инсайтов, не снимать как «общий»; только понизить confidence при необходимости. Снимать — только если тег реально не связан с главой или противоречит анализу.
|
||||
|
||||
3. **При сомнении — оставлять:** если не уверен, снимать тег или нет — **оставлять** тег и при необходимости понизить confidence. В `removed` — только явно нерелевантные теги.
|
||||
|
||||
**Confidence:** только **понижать** или оставлять без изменений; **не повышать**. Шкала для понижения: 0.7–0.89 — второстепенно; 0.5–0.69 — только упомянуто.
|
||||
|
||||
---
|
||||
|
||||
## СТРОГИЕ ПРАВИЛА
|
||||
|
||||
1. Не добавляй новых тегов и не меняй формулировки тегов — только оставляй/снимай и обновляй confidence. Confidence не повышай — только понижай или оставляй как во входе.
|
||||
2. Снятые теги перечисляй в блоке `removed`: поля `tag`, `category` (principle | psychology | method | result | context), `reason` (кратко, почему снят). В `removed` — только теги без опоры в главе и анализе или противоречащие смыслу.
|
||||
3. В `tags` сохраняй ту же структуру по категориям (ключи на английском); пустые категории — пустой массив `[]`.
|
||||
4. Ответ — только JSON, без вводных фраз и пояснений.
|
||||
|
||||
---
|
||||
|
||||
## ФОРМАТ ОТВЕТА
|
||||
|
||||
СТРОГО один JSON-объект без комментариев и markdown:
|
||||
|
||||
{
|
||||
"tags": {
|
||||
"principle": [
|
||||
{ "tag": "строка тега без изменений", "confidence": 0.95 }
|
||||
],
|
||||
"psychology": [],
|
||||
"method": [],
|
||||
"result": [],
|
||||
"context": []
|
||||
},
|
||||
"removed": [
|
||||
{
|
||||
"tag": "формулировка снятого тега",
|
||||
"category": "principle | psychology | method | result | context",
|
||||
"reason": "краткая причина снятия в 1 предложении"
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
- Ключи в `tags` — английские (principle, psychology, method, result, context). В каждом элементе `tag` — строка в точности как во входе.
|
||||
- Блок `removed` — все теги, снятые при валидации; если ничего не снято — пустой массив `[]`.
|
||||
|
||||
Верни только этот объект — ничего до и после.
|
||||
67
4_валидация_тегов/validate_tags_filled.txt
Normal file
67
4_валидация_тегов/validate_tags_filled.txt
Normal file
@@ -0,0 +1,67 @@
|
||||
Ты валидатор тегов главы. Цель: снять только теги без опоры в главе или анализе; теги с опорой — оставлять, при необходимости понижая confidence. Не повышай confidence — только понижай или оставляй без изменений (калибровка уже сделана на шаге 3).
|
||||
|
||||
Контекст:
|
||||
- Книга: "Атомные привычки"
|
||||
- Глава: "Глава 1. Среда и привычки"
|
||||
|
||||
Извлечённые теги (JSON из шага 3): {"tags":{"principle":[{"tag":"среда формирует поведение","confidence":0.95},{"tag":"привычки не исчезают","confidence":0.92},{"tag":"самоконтроль краткосрочен","confidence":0.9},{"tag":"дисциплина через среду","confidence":0.9},{"tag":"негативные эмоции усиливают поведение","confidence":0.85}],"psychology":[{"tag":"стимул","confidence":0.95},{"tag":"привычка","confidence":0.95},{"tag":"желание вызванное стимулом","confidence":0.9},{"tag":"аутокаталитический процесс","confidence":0.85},{"tag":"подкрепление","confidence":0.8}],"method":[{"tag":"снижение доступности стимула","confidence":0.95},{"tag":"настройка среды","confidence":0.92},{"tag":"устранение триггеров","confidence":0.9}],"result":[{"tag":"уменьшение вредных привычек","confidence":0.95},{"tag":"устойчивое поведение","confidence":0.9},{"tag":"снижение искушений","confidence":0.85}],"context":[{"tag":"поведенческая психология","confidence":0.95},{"tag":"привычки","confidence":0.92},{"tag":"атомные привычки","confidence":0.9}]},"proposed":[]}
|
||||
|
||||
Данные анализа (JSON-блоки):
|
||||
- Каркас: {"framework":{"terms":{"стимул":"что в окружающей среде заставляет человека действовать","привычка":"повторяющееся действие, которое становится автоматическим","подкрепление":"воздействие, усиливающее вероятность повторения действия","среда":"окружение, влияющее на поведение через стимулы и ограничения","желание, вызванное стимулом":"непроизвольная тяга к действию, спровоцированному внешним триггером","аутокаталитический процесс":"процесс, усиливающий себя сам"},"principles":[{"title":"Среда формирует поведение","description":"Человек не управляет привычками напрямую, а воздействует на окружение","example":"Убрать телефон с рабочего стола","chains":[{"cause":"Среда с доступными стимулами для нежелательной привычки","mechanism":"Стимул активирует привычку","result":"Человек повторяет вредную привычку"},{"cause":"Изменяется среда, удаляются стимулы","mechanism":"Отсутствие триггеров","result":"Человек реже проявляет нежелательное поведение"}]},{"title":"Привычки не исчезают, они только временно подавлены","description":"Привычка остаётся в мозге и может вернуться при подходящих условиях","example":"Перестаёт курить, но снова начинает после посещения места","chains":[{"cause":"Человек прекращает проявлять вредную привычку","mechanism":"Мозг сохраняет нейронные связи","result":"Привычка может вернуться при подходящих стимулах"}]},{"title":"Самоконтроль — краткосрочный инструмент","description":"Противостояние искушению неэффективно на длительном сроке","chains":[{"cause":"Контроль себя в момент искушения","mechanism":"Требует энергии","result":"Устаёт и возвращается к привычке"},{"cause":"Изменяет окружение","mechanism":"Стимулы для плохого становятся незаметными","result":"Реже сталкивается с искушением"}]},{"title":"Дисциплина — настройка среды","description":"Сильные люди живут в среде, которая поддерживает цели","chains":[{"cause":"Дисциплина только силой воли","mechanism":"Много энергии, часто неудачно","result":"Теряет мотивацию"},{"cause":"Настраивает окружение","mechanism":"Стимулы для правильных действий доступнее","result":"Чаще выбирает здоровые привычки"}]},{"title":"Негативные эмоции усиливают негативное поведение","description":"Стресс, тревога провоцируют возвращение к вредным привычкам","chains":[{"cause":"Стресс или негативные эмоции","mechanism":"Активирует привычку для снижения дискомфорта","result":"Снова делает то, что снимало напряжение"}]}]}}
|
||||
- Инсайты: {"insights":[{"title":"Среда влияет на привычки больше, чем сила воли","description":"Изменить окружение, а не надеяться на самоконтроль","example":"Убрать телефон с рабочего стола"},{"title":"Привычки не исчезают, только временно подавляются","description":"Привычки остаются в мозге, могут вернуться","example":"После посещения бара снова начинает пить"},{"title":"Негативные эмоции усиливают вредное поведение","description":"Стресс может спровоцировать возвращение к старым привычкам"},{"title":"Сокращение стимулов уменьшает нежелательное поведение","description":"Удаление триггеров снижает вероятность возобновления"},{"title":"Самоконтроль — временная стратегия","description":"Нужно настраивать среду так, чтобы искушений не было"}]}}
|
||||
- Применение: {"application":{"techniques":[{"name":"Снижение доступности стимула","goal":"Уменьшение вероятности повторения нежелательной привычки за счёт удаления триггеров","context_example":"Вечер, когда тянет залипнуть в телефон","steps":["Определите стимул","Уберите объект из зоны видимости","Запишите дату изменения"],"client_phrase":"Уберите источник искушения из среды"}]}}
|
||||
|
||||
Оригинальный текст главы (выдержка): В 1971 году два американских конгрессмена выяснили, что более 15% солдат во Вьетнаме имели зависимость от героина. Ли Робинс обнаружил, что только 5% наркозависимых солдат снова начинали принимать героин в течение первого года после возвращения — девять из десяти избавлялись от зависимости после смены окружения. Зависимость может спонтанно исчезнуть при полной смене окружения: во Вьетнаме солдаты были в окружении стимулов, провоцировавших героин; в США — в среде без этих стимулов. Как только менялся контекст, менялась и привычка. Исследования показывают: «дисциплинированные» люди лучше структурируют жизнь так, чтобы не требовать героической силы воли. Люди с развитым самоконтролем меньше нуждаются в его применении. Способ развить качества — создать дисциплинированную среду. Привычка, закодированная в мозгу, «готова к использованию» при соответствующей ситуации. Ученые называют это «желание, вызванное стимулом»: внешний триггер вызывает навязчивое стремление повторить привычку. Вы можете избавиться от привычки, но не забыть ее. Противостояние искушению — неэффективная долгосрочная стратегия. Надёжный подход — искоренение плохих привычек в исходной точке: снизить воздействие стимула. Оставьте телефон в другой комнате; уберите телевизор из спальни. Обратная трактовка первого закона: сделать неочевидным то, что мешает. Самоконтроль — краткосрочная стратегия. Секрет самоконтроля: стимулы хороших привычек — очевидными, плохих — незаметными. Дурные привычки аутокаталитичны: процесс подпитывает сам себя. Подкрепление усиливает вероятность повторения действия.
|
||||
|
||||
---
|
||||
|
||||
## ЗАДАЧА
|
||||
|
||||
Проверь каждый тег. В `removed` попадают **только** теги без опоры в главе и в анализе или противоречащие смыслу главы.
|
||||
|
||||
1. **Опора в анализе:** если тег есть в анализе (framework.terms, названия принципов/инсайтов/техник, цепочки cause–mechanism–result) — **не снимать**; при необходимости только **понизить** confidence. Снимать только при отсутствии связи с главой/анализом или при противоречии.
|
||||
|
||||
2. **«Слишком общий» — не повод снимать:** тег, входящий в framework (terms, principles) или в описание техник/инсайтов, не снимать как «общий»; только понизить confidence при необходимости. Снимать — только если тег реально не связан с главой или противоречит анализу.
|
||||
|
||||
3. **При сомнении — оставлять:** если не уверен, снимать тег или нет — **оставлять** тег и при необходимости понизить confidence. В `removed` — только явно нерелевантные теги.
|
||||
|
||||
**Confidence:** только **понижать** или оставлять без изменений; **не повышать**. Шкала для понижения: 0.7–0.89 — второстепенно; 0.5–0.69 — только упомянуто.
|
||||
|
||||
---
|
||||
|
||||
## СТРОГИЕ ПРАВИЛА
|
||||
|
||||
1. Не добавляй новых тегов и не меняй формулировки тегов — только оставляй/снимай и обновляй confidence. Confidence не повышай — только понижай или оставляй как во входе.
|
||||
2. Снятые теги перечисляй в блоке `removed`: поля `tag`, `category` (principle | psychology | method | result | context), `reason` (кратко, почему снят). В `removed` — только теги без опоры в главе и анализе или противоречащие смыслу.
|
||||
3. В `tags` сохраняй ту же структуру по категориям (ключи на английском); пустые категории — пустой массив `[]`.
|
||||
4. Ответ — только JSON, без вводных фраз и пояснений.
|
||||
|
||||
---
|
||||
|
||||
## ФОРМАТ ОТВЕТА
|
||||
|
||||
СТРОГО один JSON-объект без комментариев и markdown:
|
||||
|
||||
{
|
||||
"tags": {
|
||||
"principle": [
|
||||
{ "tag": "строка тега без изменений", "confidence": 0.95 }
|
||||
],
|
||||
"psychology": [],
|
||||
"method": [],
|
||||
"result": [],
|
||||
"context": []
|
||||
},
|
||||
"removed": [
|
||||
{
|
||||
"tag": "формулировка снятого тега",
|
||||
"category": "principle | psychology | method | result | context",
|
||||
"reason": "краткая причина снятия в 1 предложении"
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
- Ключи в `tags` — английские (principle, psychology, method, result, context). В каждом элементе `tag` — строка в точности как во входе.
|
||||
- Блок `removed` — все теги, снятые при валидации; если ничего не снято — пустой массив `[]`.
|
||||
|
||||
Верни только этот объект — ничего до и после.
|
||||
34
4_валидация_тегов/выход_valid_tag.json
Normal file
34
4_валидация_тегов/выход_valid_tag.json
Normal file
@@ -0,0 +1,34 @@
|
||||
{
|
||||
"tags": {
|
||||
"principle": [
|
||||
{ "tag": "среда формирует поведение", "confidence": 0.95 },
|
||||
{ "tag": "привычки не исчезают", "confidence": 0.92 },
|
||||
{ "tag": "самоконтроль краткосрочен", "confidence": 0.9 },
|
||||
{ "tag": "дисциплина через среду", "confidence": 0.9 },
|
||||
{ "tag": "негативные эмоции усиливают поведение", "confidence": 0.85 }
|
||||
],
|
||||
"psychology": [
|
||||
{ "tag": "стимул", "confidence": 0.95 },
|
||||
{ "tag": "привычка", "confidence": 0.95 },
|
||||
{ "tag": "желание вызванное стимулом", "confidence": 0.9 },
|
||||
{ "tag": "аутокаталитический процесс", "confidence": 0.85 },
|
||||
{ "tag": "подкрепление", "confidence": 0.8 }
|
||||
],
|
||||
"method": [
|
||||
{ "tag": "снижение доступности стимула", "confidence": 0.95 },
|
||||
{ "tag": "настройка среды", "confidence": 0.92 },
|
||||
{ "tag": "устранение триггеров", "confidence": 0.9 }
|
||||
],
|
||||
"result": [
|
||||
{ "tag": "уменьшение вредных привычек", "confidence": 0.95 },
|
||||
{ "tag": "устойчивое поведение", "confidence": 0.9 },
|
||||
{ "tag": "снижение искушений", "confidence": 0.85 }
|
||||
],
|
||||
"context": [
|
||||
{ "tag": "поведенческая психология", "confidence": 0.95 },
|
||||
{ "tag": "привычки", "confidence": 0.92 },
|
||||
{ "tag": "атомные привычки", "confidence": 0.9 }
|
||||
]
|
||||
},
|
||||
"removed": []
|
||||
}
|
||||
Reference in New Issue
Block a user