Cashcrown // ewaluacja jakości ai · 09/11
Eval Harness
eval-harnessliveHarness do ewaluacji systemów LLM/RAG: złoty zestaw, automatyczne metryki, sędzia-LLM kalibrowany na ludzkich ocenach i bramka regresji, która blokuje deploy przy spadku jakości.
4 tryby
metryki
self-host
deploy
zero-retention
dane
CI gate
regresja
01
Problem
Bez ewaluacji nie wiesz, czy nowy prompt, model albo zmiana w RAG poprawiły jakość, czy ją cicho zepsuły. Ocena „na oko" nie skaluje się i nie wyłapuje regresji, zanim trafi do klienta.
02
Możliwości
- złoty zestaw przypadków testowych z oczekiwaniami
- automatyczne metryki: precision/recall/F1, faithfulness, cytowania
- sędzia-LLM kalibrowany na ludzkich ocenach
- bramka regresji blokująca deploy przy spadku jakości
- pełna historia przebiegów pod analizę trendów
03
Zakres wdrożenia
- Zestaw złotych benchmarków (golden dataset) dopasowany do domeny klienta z wersjonowaniem w repozytorium
- Automatyczne metryki deterministyczne (BLEU, ROUGE, F1) połączone ze skalibrowanym arbitrem LLM-as-a-judge
- Bramka regresji jakości w CI/CD blokująca wdrożenie promptów lub modeli przy spadku wierności
- Wizualny dashboard porównawczy eksperymentów, analiza dryfu modeli i trendów kosztowo-jakościowych
Ten produkt składamy z mierzonych modeli i komponentów - zobacz pełny pipeline na żywo:
04
Pilotaż z dowodami
Pakiet pilotażowy: harness ewaluacyjny i bramka regresji jakości
Eval Harness wdrażamy, aby wyeliminować testowanie modeli na oko: tworzymy wersjonowany złoty zestaw testowy, automatyczne metryki wierności i twardą bramkę w CI/CD blokującą wadliwe zmiany.
100%
pokrycia złotym zbiorem
0
cichych regresji na produkcji
CI/CD
automatyczna bramka deployu
Dowody
Case study: automatyczny audyt i adversarialna weryfikacja
Zobacz, jak wieloetapowa ewaluacja wyeliminowała fałszywe alarmy i zagwarantowała powtarzalność wyników.
zobacz dowódPowtarzalność i audytowalność testów
Zasady deterministycznego uruchamiania sędziów LLM, wersjonowania testów i rejestracji wyników.
zobacz dowódŚcieżka pilotażu
- 01Krok 1: Zebranie i anotacja 100 kluczowych zapytań użytkowników do utworzenia złotego zbioru danych
- 02Krok 2: Kalibracja sędziego LLM-as-a-judge pod specyfikę domeny oraz ustalenie progów wierności i cytowań
- 03Krok 3: Podpięcie bramki regresji pod pipeline GitHub Actions / GitLab CI i uruchomienie pierwszego audytu
05
Integracje
routerBGE-M3QdrantOllamaFastAPIn8n
06
Architektura
Wybierz węzeł, aby zobaczyć opis i przepływ danych.
Architektura - opis tekstowy
- Wejście / dane
- Źródła danych: Treści, dokumenty i zdarzenia trafiają do indeksu. (Przepływ do: BGE-M3)
- BGE-M3: Lokalne embeddingi (1024-dim) - PII zostaje na miejscu. (Przepływ do: Router OpenClaw)
- Rdzeń AI
- Router OpenClaw: Jedyne wejście do modeli - maskuje PII, dobiera model, limituje. (Przepływ do: Eval Harness)
- Eval Harness: Harness do ewaluacji systemów LLM/RAG: złoty zestaw, automatyczne metryki, sędzia-LLM kalibrowany na ludzkich ocenach i bramka regresji, która blokuje deploy przy spadku jakości. (Przepływ do: API)
- Wyjście / integracje
- API: Powierzchnia REST - odpowiedzi z cytatami i kontrolą dostępu. (Przepływ do: router, BGE-M3, Qdrant, Ollama)
- router: Integracja: router.
- BGE-M3: Integracja: BGE-M3.
- Qdrant: Integracja: Qdrant.
- Ollama: Integracja: Ollama.
07
Demo na żywo
08
FAQ
Ile kosztuje i jak wygląda wdrożenie?
Pracujemy w przedziałach zależnych od zakresu: zaczynamy od pilotażu o stałym koszcie, w którym budujemy złoty zestaw i pierwszą bramkę regresji. Eval zwykle zwraca się przy pierwszej wyłapanej regresji, zanim trafi do klienta: oszczędza godziny ręcznego przeglądu i kosztowne wpadki. Zwrot policzysz w kalkulatorze ROI.
Czy integruje się z naszym CI i jest zgodne z RODO?
Tak. Harness uruchamiamy w Waszym CI jako bramkę przed deployem: czerwony wynik blokuje wypuszczenie. Działa self-hosted z zero-retention: dane testowe i embeddingi (BGE-M3) zostają u Ciebie, PII maskujemy przed chmurą, wrażliwe ścieżki obsługujemy lokalnie: zgodność z RODO i AI Act projektujemy od początku.
Od czego zacząć i czy eval zastąpi człowieka?
Zaczynamy od kilkudziesięciu reprezentatywnych przypadków i ich ręcznej oceny: to złoty zestaw, na którym kalibrujemy sędziego-LLM. Eval uzupełnia, ale nigdy nie zastępuje ludzkiej oceny przy wynikach wysokiego ryzyka: automat łapie regresje i mierzy trend, człowiek podejmuje decyzje krytyczne i ma ostatnie słowo przy bramce.
eval-harness · Docker / Kubernetes (On-Premises, Air-Gapped lub prywatny VPC w UE)
Executive Brief 1-Pager (Podsumowanie dla Zarządu i Procurement)
Bez ewaluacji nie wiesz, czy nowy prompt, model albo zmiana w RAG poprawiły jakość, czy ją cicho zepsuły. Ocena „na oko" nie skaluje się i nie wyłapuje regresji, zanim trafi do klienta.
metryki: 4 trybydeploy: self-hostdane: zero-retentionregresja: CI gate
Docelowe integracje:routerBGE-M3QdrantOllamaFastAPIn8n
→Powiązane