cashcrown // оцінка якості ai
Eval Harness
eval-harnessliveHarness для оцінки систем LLM/RAG: золотий набір, автоматичні метрики, LLM-as-judge, відкалібрований на людських мітках, і regression-gate, що блокує деплой при падінні якості.
4 tryby
режими метрик
self-host
deploy
zero-retention
дані
CI gate
регресія
// 01
Проблема
Без оцінки ви не знаєте, чи новий промпт, модель або зміна в RAG покращили якість, чи тихо її зламали. Перевірка «на око» не масштабується й не ловить регресії, перш ніж вони дійдуть до клієнта.
// 02
Можливості
- золотий набір тестових кейсів з очікуваннями
- автоматичні метрики: precision/recall/F1, faithfulness, цитування
- LLM-as-judge, відкалібрований на людських мітках
- regression-gate, що блокує деплой при падінні якості
- повна історія запусків для аналізу трендів
// 05
Інтеграції
routerBGE-M3QdrantOllamaFastAPIn8n
// 06
Архітектура
Виберіть вузол, щоб побачити опис і потік даних.
Архітектура — текстовий опис
- Вхід / дані
- Джерела даних — Контент, документи та події живлять індекс. (Потік до: BGE-M3)
- BGE-M3 — Локальні ембединги (1024-dim) — PII лишається локально. (Потік до: Роутер OpenClaw)
- Ядро AI
- Роутер OpenClaw — Єдиний вхід до моделей — маскує PII, добирає модель, лімітує. (Потік до: Eval Harness)
- Eval Harness — Harness для оцінки систем LLM/RAG: золотий набір, автоматичні метрики, LLM-as-judge, відкалібрований на людських мітках, і regression-gate, що блокує деплой при падінні якості. (Потік до: API)
- Вихід
- API — REST-поверхня — відповіді з цитатами та контролем доступу. (Потік до: router, BGE-M3, Qdrant, Ollama)
- router — Інтеграція: router.
- BGE-M3 — Інтеграція: BGE-M3.
- Qdrant — Інтеграція: Qdrant.
- Ollama — Інтеграція: Ollama.
// 07
Демо наживо
// 08
FAQ
Скільки коштує і як виглядає впровадження?
Працюємо в діапазонах залежно від обсягу — починаємо з пілота з фіксованою вартістю, у якому будуємо золотий набір і перший regression-gate. Eval зазвичай окупається на першій регресії, яку він ловить до того, як вона дійде до клієнта — економить години ручного перегляду і дорогі промахи. Віддачу порахуєте в калькуляторі ROI.
Чи інтегрується з нашим CI і чи відповідає GDPR?
Так. Harness запускаємо у вашому CI як gate перед деплоєм — червоний результат блокує реліз. Працює self-hosted із zero-retention: тестові дані та embedding-и (BGE-M3) залишаються у вас, PII маскуємо перед хмарою, чутливі шляхи обробляємо локально — відповідність GDPR та AI Act проєктуємо від початку.
З чого почати, і чи замінить eval людину?
Починаємо з кількох десятків репрезентативних кейсів та їхніх ручних міток — це золотий набір, на якому калібруємо LLM-as-judge. Eval доповнює, але ніколи не замінює людську оцінку для результатів високого ризику: автоматика ловить регресії та відстежує тренд, а людина ухвалює критичні рішення й має останнє слово на gate.
// →Повʼязане