AI do podsumowywania długich dokumentów: strategie i ograniczenia

Dział prawny otrzymuje 180-stronicową umowę joint venture do przeglądu przed podpisaniem. Nie ma tygodnia. Jest jeden dzień. Pytanie pada szybko: czy AI może to podsumować?

Odpowiedź brzmi: tak, z ważnym zastrzeżeniem. Model skróci czas orientacji w dokumencie z godzin do minut. Ale podsumowanie nie zastępuje lektury przy klauzulach, od których zależy odpowiedzialność, odszkodowanie i warunki rozwiązania. To dwa różne zastosowania, które nie powinny być mylone.

Modele językowe mają ograniczone okno kontekstowe. Nawet modele z oknami rzędu 128 000 tokenów mają granicę, a precyzja przetwarzania spada przy pełnym wypełnieniu kontekstu. Kontrakt na 180 stron, protokół z 8-godzinnego zebrania zarządu albo raport roczny spółki z 300 stronami to dokumenty, które często ten limit przekraczają lub zbliżają się do niego na tyle, że jakość podsumowania wyraźnie spada.

Dwa architektoniczne rozwiązania tego problemu mają różne właściwości i różne tryby awarii.

Map-reduce (hierarchiczne podsumowanie): dokument jest dzielony na fragmenty, każdy fragment jest podsumowywany osobno (faza map), a następnie podsumowania są syntetyzowane w całość (faza reduce). Można budować hierarchie kilkupiętrowe: najpierw akapity do sekcji, potem sekcje do rozdziałów, potem rozdziały do całości. Zaletą jest skalowalność: dokument może mieć dowolną długość. Wadą jest to, że zależności między fragmentami mogą zaginąć. Klauzula w rozdziale 3 definiuje pojęcie używane w rozdziale 12; jeśli fragment rozdziału 12 jest podsumowywany bez wiedzy o tym, jak pojęcie jest zdefiniowane w rozdziale 3, model albo zgadnie, albo pominnie.

RAG z cytowaniem: zamiast podsumowywać cały dokument sekwencyjnie, system odpowiada na konkretne pytania przez wyszukiwanie semantyczne. Zapytanie „jakie są warunki rozwiązania umowy” pobiera najbardziej trafne fragmenty, które model syntezuje z obowiązkiem cytowania numeru strony i akapitu. Zaletą jest wyższy poziom zaufania: każda odpowiedź ma źródło. Wadą jest konieczność precyzyjnych pytań i brak całościowego przeglądu bez iteracji. Artykuł AI do analizy dokumentów opisuje ten pipeline szczegółowo.

Najużyteczniejsze podsumowania w kontekście firmowym to nie wolny tekst narracyjny, ale struktury wypełniane przez model według schematu. Trzy formaty, które sprawdzają się w praktyce:

Kluczowe punkty z lokalizacją. Lista 5-15 ustaleń z obowiązkowym wskazaniem strony i sekcji. Format zmusza model do zakotwiczenia każdego punktu w tekście i ułatwia weryfikację przez człowieka: czytelnik sprawdza nie całość, a konkretne miejsca.

Podsumowanie ryzyk. Lista pozycji o typie ryzyka, jego opisu i miejsca w dokumencie. Użyteczne dla prawników i analityków due diligence, którzy chcą szybko trafić do klauzul wymagających uwagi. Model wypełnia schemat przez structured output, co ułatwia integrację z systemami zarządzania ryzykiem.

Lista działań. Z protokołów spotkań, briefów projektowych i raportów z audytów model może wyciągać punkty do wykonania z przypisaną osobą i terminem. Warunek: protokół musi te elementy zawierać. Jeśli nie są explicite wymienione, model będzie je wnioskować, co zwiększa ryzyko błędu.

Wszystkie trzy formaty można zwalidować schemą JSON przed przekazaniem wyników do dalszego obiegu. Artykuł walidacja wyjść LLM omawia, jak zaprojektować tę warstwę.

Dobór strategii zależy od celu podsumowania, wrażliwości dokumentu i tego, ile czasu ma weryfikujący człowiek. Dla dokumentów o wysokiej stawce prawnej lub finansowej nie ma strategii, która zwalnia z weryfikacji.

My w Cashcrown obserwujemy dwa tryby awarii, które pojawiają się nieproporcjonalnie często przy podsumowywaniu długich dokumentów.

Pominięta klauzula. W map-reduce klauzula może być pominięta, jeśli fragment, w którym się znajduje, nie zawierał wystarczającego kontekstu, by model uznał ją za istotną. Dzieje się tak przy klauzulach osadzonych w pozornie standardowych sekcjach (np. klauzula zmiany prawa w sekcji „Postanowienia końcowe”). Żadna z aktualnie dostępnych architektur nie daje gwarancji 100% recall dla klauzul krytycznych bez dedykowanego golden setu testowego.

Halucynacja faktu nieobecnego w źródle. Model wypełnia lukę prawdopodobnym tekstem. Przy podsumowaniu kontraktu może „uzupełnić” brakujący termin płatności wartością typową dla tego rodzaju umów. Przy podsumowaniu raportu może podać skumulowane KPI, których raport nie zawierał, ale które brzmiałyby sensownie. Cytowanie źródła przy każdym punkcie podsumowania to najskuteczniejsza obrona: punkt bez cytowania jest sygnałem, że model mógł zgadnąć.

Artykuł jak ograniczyć halucynacje AI opisuje warstwy obrony szczegółowo. Kluczowy wniosek: halucynacji nie da się wyzerować przez lepszy model. Architektura z cytowaniem i progiem pewności redukuje je do akceptowalnego poziomu.

Dla dokumentów prawnych i finansowych istnieje twarda granica, której nie można przesuwać.

Podsumowanie AI to narzędzie nawigacji: pozwala szybko znaleźć, które sekcje wymagają uwagi, na jakich stronach są klauzule krytyczne, co jest niestandardowe względem wzorca. Nie jest i nie powinno być ostateczną interpretacją treści, na podstawie której podejmuje się decyzje o podpisaniu, akceptacji warunków lub poniesieniu odpowiedzialności.

Human oversight przy dokumentach prawnych i finansowych oznacza konkretnie: weryfikację klauzul krytycznych przez prawnika lub analityka przy źródle, nie przy podsumowaniu. Podsumowanie przyspiesza ten proces, wskazując miejsca, na które patrzeć. Nie zastępuje patrzenia.

Dla dokumentów objętych tajemnicą zawodową lub zawierających dane osobowe architektura powinna uwzględniać self-hosting modelu lub masowanie PII przed wysłaniem do zewnętrznych API. Artykuł firmowy GPT na bazie wiedzy omawia warianty wdrożenia z różnymi profilami ryzyka danych.

Jakość podsumowania w dużej mierze zależy od tego, jak dokument jest podzielony na fragmenty przed przetworzeniem. Zbyt małe fragmenty tracą kontekst zdań z poprzedniego akapitu. Zbyt duże obniżają precyzję i zwiększają koszt per zapytanie.

Kilka reguł, które sprawdziły się w naszych wdrożeniach:

• Granice chunków powinny pokrywać się z granicami akapitów lub sekcji, nie być wyznaczane mechanicznie co 512 tokenów.
• Każdy chunk powinien zawierać metadane: numer strony, nagłówek sekcji, identyfikator dokumentu. Bez tych metadanych cytowanie jest niemożliwe.
• Dla map-reduce warto stosować overlap rzędu 10-15% między sąsiednimi chunkami, by klauzule rozciągające się na przełomie stron nie traciły kontekstu.
• Dla dokumentów z tabelami (raporty finansowe, umowy z harmonogramami płatności) tabele wymagają osobnej strategii chunking: cały wiersz tabeli jako jeden chunk z nagłówkami kolumn w każdym fragmencie.

Szczegóły strategii chunking opisuje artykuł chunking dokumentów do RAG.

Opisz typ dokumentu i co chcesz z niego wyciągnąć, a model zaproponuje strategię podsumowania dopasowaną do Waszego przypadku (playground: PII maskowane, zero retencji):

Nie. Map-reduce poprawia skalowalność, ale nie daje gwarancji pełnego pokrycia. Klauzule umieszczone w sekcjach, które model ocenił jako mało istotne w fazie map, mogą nie trafić do syntezy. Jedynym sposobem na empiryczne zmierzenie pokrycia jest golden set: zebranie wcześniej zaetykietowanych klauzul krytycznych i sprawdzenie, ile z nich system poprawnie identyfikuje. Cel powyżej 95% recall dla klauzul krytycznych jest osiągalny po kalibracji, ale wymaga iteracji z realnymi dokumentami.

W dobrze zaprojektowanym systemie każde zdanie w podsumowaniu jest powiązane z identyfikatorem fragmentu (numer strony, sekcja, zdanie). Weryfikacja polega na przejściu do wskazanego miejsca i potwierdzeniu, że tekst tam faktycznie istnieje. System bez mechanizmu cytowania na poziomie akapitu lub zdania nie daje narzędzia do weryfikacji i nie nadaje się do zastosowań prawnych ani finansowych. Warstwa walidacji wyjść powinna blokować odpowiedzi z niskim współczynnikiem zakotwiczenia w źródle.

Tak, nowoczesne modele wielojęzyczne obsługują podsumowania mieszane językowo. Praktycznym problemem jest terminologia specjalistyczna: klauzule prawne i finansowe mają precyzyjne znaczenie, które nie zawsze przekłada się bezpośrednio między językami. Dla dokumentów bilateralnych (np. umowa polska z angielskim tłumaczeniem roboczym) warto budować oddzielne indeksy per język i porównywać wyniki cross-językowo, zamiast polegać na automatycznym tłumaczeniu w warstwie podsumowania.

To zależy od strategii. Map-reduce na 100 stronach przy chunkach 500-tokenowych i 20% overlap generuje około 250 fragmentów. Każda faza map to jedno wywołanie modelu, faza reduce to kolejne. Przy modelu z ceną 1-3 USD za milion tokenów koszt jednego podsumowania wynosi od kilkudziesięciu groszy do kilku złotych. Dla dużych wolumenów (dziesiątki dokumentów tygodniowo) warto rozważyć router modeli: tańszy model do fazy map, mocniejszy do fazy reduce i do pytań o klauzule krytyczne.

Nie. Podsumowanie jest produktem modelu językowego i może zawierać błędy, pominięcia lub błędną interpretację kontekstu prawnego. Dowodem w sporze jest treść oryginalnego dokumentu. Podsumowanie może być użyte jako narzędzie wewnętrzne do orientacji i triage'u, ale nie zastępuje oryginału ani opinii prawnej. Systemy AI do podsumowywania dokumentów prawnych są w świetle AI Act systemami wsparcia decyzji i wymagają, by człowiek miał możliwość weryfikacji i nadpisania każdej rekomendacji modelu.