Це одне з перших питань при впровадженні AI у компанії: як змусити модель відповідати на основі ваших знань, а не загальних. Є два шляхи — і найчастіше їх плутають або обирають дорожчий без потреби.
RAG: спочатку знайди, потім відповідай#
RAG (retrieval-augmented generation) спочатку шукає релевантні фрагменти у вашій базі, а потім змушує модель відповісти лише на їхній основі, з цитатами. Знання зберігаються поза моделлю — у векторній базі — тому:
- оновлюєте дані без перетренування моделі,
- відповіді мають джерела, які можна цитувати, що обмежує галюцинації, коли пошук влучний і встановлено поріг впевненості,
- при слабкому співпадінні система ескалує до людини замість вигадування.
Ембедінги обчислюємо локально моделлю BGE-M3, тому контент для вбудовування не залишає вашої інфраструктури.
Fine-tuning: зміни поведінку моделі#
Fine-tuning донавчає модель на ваших прикладах і змінює її ваги — закріплює стиль, тон, формат виходу. Це потужно, коли потрібен узгоджений «голос» або дуже специфічний формат, який неможливо нав’язати промптом. Але це дорого і не підходить для свіжих фактів: нові знання потребують повторного тренування.
Коли що обирати#
| Критерій | RAG | Fine-tuning |
|---|---|---|
| Свіжі/актуальні дані | так | ні |
| Вартість впровадження | низька | висока |
| Оновлення без перетренування | так | ні |
| Контроль стилю/поведінки | частковий | повний |
| Ризик галюцинацій | низький (з порогом впевненості) | середній |
| Джерела, які можна цитувати | так | ні |
| Час до перших результатів | тижні | місяці |
| Необхідний обсяг даних | мало (документи) | багато (навчальні пари) |
Правило великого пальця: якщо проблема — доступ до знань (клієнти не знаходять відповідей) — RAG. Якщо проблема — постійний стиль/формат — fine-tuning. Часто оптимальним є гібрид: RAG вносить факти, легкий fine-tuning закріплює голос. Пройдіть це конкретно у дереві рішень.
Якщо ви схиляєтесь до fine-tuning, перегляньте, коли fine-tuning справді має сенс — а коли є дорогою помилкою.
Найпоширеніша помилка: fine-tuning на документах#
Найпоширеніша помилка звучить так: «хочемо, щоб модель знала наші документи». Це не завдання для fine-tuning — fine-tuning змінює стиль і поведінку, він не є фактографічною пам’яттю, тож модель усе одно може галюцинувати факти, лише у вашому стилі. Знання з документів — це завдання RAG із цитуванням джерел.
По-друге — порядки величини: пілот RAG ви запускаєте за тижні, а fine-tuning — це місяці роботи плюс GPU, навчальні дані (щонайменше кілька сотень добрих пар вхід-вихід) і підтримка наступних версій. Повний перелік випадків, коли fine-tuning виправданий або помилковий, ми розкладаємо у статті Коли fine-tuning має сенс.
Що ми будуємо з RAG#
RAG — це фундамент Concierge RAG — асистента на ваших знаннях з цитатами, багатомовністю та ескалацією до людини. Той самий шаблон живить багатомовний хелп-деск та інтелект документів.
Спробуй наживо#
Вставте власний текст і поставте запитання — побачите RAG з цитатами в реальному часі (той самий сендбокс, що й у playground: нульова ретенція, PII маскуються).
FAQ#
RAG чи fine-tuning — що обрати на старті?#
Найчастіше RAG. Він дешевший, оновлюється без перетренування і дає джерела, які можна цитувати. Fine-tuning має сенс, коли потрібна постійна зміна стилю або формату, а не свіжі факти. Багато впроваджень починають з RAG і додають легкий fine-tuning лише тоді, коли важливий узгоджений «голос».
Чи вимагає RAG надсилання даних у хмару?#
Не обов’язково. Ембедінги та пошук ми тримаємо локально (BGE-M3 + Qdrant), а в хмару потрапляє лише замаскований промпт — без PII. Чутливі дані та всі впровадження on-prem не виходять за межі вашої інфраструктури.
Чи зменшує fine-tuning галюцинації?#
Не так, як RAG. Fine-tuning закріплює стиль, але модель все одно може «вигадувати», якщо не знає факту. Саме RAG з цитуванням та порогом впевненості (ескалація до людини при слабкому співпадінні) є основним захистом від галюцинацій.