RAG: как ИИ отвечает по вашим документам
Обновлено:
RAG (генерация с поиском) — это когда ИИ сначала находит нужные куски ваших документов и только потом пишет ответ по ним. Модель не нужно переобучать, а у каждого ответа видно, из какого документа он взят.
Три шага
Разбейте документы на короткие куски. Превратите каждый кусок в вектор — набор чисел, который передаёт смысл, — и сохраните. Когда приходит вопрос, найдите самые близкие куски и передайте их модели вместе с вопросом.
Почему ответы бывают неверными
Обычно поиск нашёл не те куски, а не модель выдумала. Частые причины: слишком длинные куски, таблицы, превращённые в сплошной текст, и сканы PDF без текстового слоя.
Держите небольшой набор настоящих вопросов с известными ответами и прогоняйте его после каждой правки. Это единственный честный способ понять, что RAG стал лучше.