- /rag/commands/expert.py - /core/services/__init__.py - /core/services/embedding_service.py - /core/services/file_service.py - /core/services/giga_client.py - /core/services/kb_service.py - /core/services/postgres_service.py - /core/services/qdrant_service.py - /core/services/reranker_service.py - /core/functions/__init__.py - /core/functions/check_consistency.py - /core/functions/check_spelling.py - /core/functions/critique_answer.py - /core/functions/expand_query.py - /core/functions/extract_metrics.py - /core/functions/file_processor.py - /core/functions/generate_document.py - /core/functions/intent_classify.py - /core/functions/rerank_context.py - /core/functions/summarize_document.py - /core/utils/__init__.py - /core/utils/arg_parser.py - /core/utils/config_loader.py - /core/utils/layout_converter.py - /core/utils/logger.py - /core/utils/text_utils.py - /core/utils/web_utils.py - /bots/commands/__init__.py - /bots/commands/base.py - /bots/commands/create.py - /core/commands/global_remove.py - /core/commands/help.py - /core/commands/info.py - /core/commands/kb.py - /core/commands/learn.py - /core/commands/other.py - /core/commands/registry.py - /core/commands/stats.py - /core/commands/template.py - /core/handlers/__init__.py - /core/handlers/message_handler.py - /core/workers/__init__.py - /core/workers/indexing_worker.py - /core/xmpp/__init__.py - /core/xmpp/client.py - /bots/commands/global_remove.py - /bots/commands/help.py - /bots/commands/info.py - /bots/commands/kb.py - /bots/commands/registry.py - /bots/commands/other.py - /bots/commands/template.py - /bots/commands/learn.py - /bots/commands/stats.py - /bots/handlers/message_handler.py - /bots/handlers/__init__.py - /bots/workers/__init__.py - /bots/workers/indexing_worker.py - /bots/xmpp/__init__.py - /bots/xmpp/client.py - /rag/services/qdrant_service.py - /rag/services/giga_client.py - /rag/services/embedding_service.py - /rag/services/reranker_service.py - /rag/services/__init__.py - /rag/services/file_service.py - /rag/services/postgres_service.py - /rag/services/kb_service.py - /rag/functions/check_spelling.py - /rag/functions/__init__.py - /rag/functions/extract_metrics.py - /rag/functions/generate_document.py - /rag/functions/expand_query.py - /rag/functions/critique_answer.py - /rag/functions/file_processor.py - /rag/functions/check_consistency.py - /rag/functions/summarize_document.py - /rag/functions/rerank_context.py - /rag/functions/intent_classify.py - /rag/utils/__init__.py - /rag/utils/layout_converter.py - /rag/utils/text_utils.py - /rag/utils/arg_parser.py - /rag/utils/config_loader.py - /rag/utils/logger.py - /rag/utils/web_utils.py
68 lines
2.5 KiB
Python
68 lines
2.5 KiB
Python
# -*- coding: utf-8 -*-
|
|
"""
|
|
Модуль самокритики: оценивает качество сгенерированного ответа.
|
|
Проверяет соответствие источнику, отсутствие галлюцинаций, соблюдение стиля и логику.
|
|
|
|
АДАПТАЦИЯ: теперь функция принимает промпт как аргумент.
|
|
"""
|
|
|
|
import logging
|
|
import re
|
|
from core.services.giga_client import GigaClient
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
async def critique_answer(
|
|
giga: GigaClient,
|
|
query: str,
|
|
context: str,
|
|
answer: str,
|
|
prompt_text: str,
|
|
bot_config,
|
|
) -> bool:
|
|
"""
|
|
Оценивает ответ, возвращает True, если ответ приемлем, иначе False.
|
|
|
|
Аргументы:
|
|
giga (GigaClient): клиент GigaChat
|
|
query (str): исходный вопрос пользователя
|
|
context (str): контекст из базы знаний
|
|
answer (str): сгенерированный ответ
|
|
prompt_text (str): содержимое промпта самокритики
|
|
bot_config (BotConfig): объект конфигурации
|
|
|
|
Возвращает:
|
|
bool: True если ответ хороший, False если есть замечания
|
|
"""
|
|
if not prompt_text:
|
|
logger.debug("Промпт самокритики не загружен, пропускаем проверку")
|
|
return True
|
|
|
|
crit_cfg = getattr(bot_config, 'critique', {})
|
|
temperature = crit_cfg.get('temperature', 0.1)
|
|
if isinstance(temperature, dict):
|
|
temperature = 0.1
|
|
|
|
full_prompt = f"{prompt_text}\n\nВопрос: {query}\nКонтекст:\n{context}\nОтвет:\n{answer}"
|
|
|
|
try:
|
|
response = await giga.chat(
|
|
history=[],
|
|
query=full_prompt,
|
|
system_prompt=None,
|
|
file_id=None,
|
|
temperature=temperature
|
|
)
|
|
verdict = response.strip()
|
|
|
|
if re.search(r'\[OK\]|ПРИЕМЛЕМ', verdict, re.IGNORECASE):
|
|
return True
|
|
elif re.search(r'\[ISSUES\]', verdict, re.IGNORECASE):
|
|
return False
|
|
else:
|
|
logger.warning(f"Самокритика вернула неопределённый ответ: {verdict[:200]}")
|
|
return True
|
|
except Exception as e:
|
|
logger.error(f"Ошибка самокритики: {e}", exc_info=True)
|
|
return True # При ошибке пропускаем проверку |