Корпус з 50 000 листів XIX століття. Словник з 40 різних написань того самого прізвища. Три терабайти оцифрованих рукописів без структурованих метаданих. Це реальні масштаби, з якими історики та літературознавці стикаються сьогодні в архівах. Ручний перегляд таких колекцій займає роки. Інструменти NLP здатні виконати попередній відбір, анотацію та класифікацію за години, але саме в слові «попередній» криється весь сенс цієї технології: вона відкриває двері до матеріалу, не проходить через них за дослідника.
Що насправді робить NLP у гуманітарних дослідженнях#
Обробка природної мови — це набір обчислювальних технік, які дозволяють комп’ютеру «читати» текст у статистичному сенсі: розпізнавати власні назви, класифікувати сентименти, виявляти теми, картографувати зв’язки між поняттями.
У гуманітарній практиці найчастіше застосовують кілька з них:
Розпізнавання іменованих сутностей (NER). Модель ідентифікує осіб, місця, дати та інституції в сирому тексті. Для історика, який обробляє тисячі судових протоколів, це перший крок до побудови індексу осіб та подій без ручного кодування.
Тематичне моделювання. Алгоритми, такі як LDA або її новіші обчислювальні аналоги, групують документи за співпадаючими словами. У літературознавстві це дозволяє картографувати, як теми дискурсу зміщуються між десятиліттями або жанрами в корпусі, надто великому для close-reading.
Аналіз сентименту. Моделі класифікують емоційне навантаження тексту. Корисно при порівнянні тону преси різних політичних орієнтацій у той самий історичний період, але ненадійно при іронії, евфемізмах та архаїчній мові.
Ембедінги та семантичний пошук. Мовні моделі перетворюють фрагменти тексту на числові вектори, що дозволяє знаходити семантично подібні уривки навіть без спільних ключових слів. Це особливо цінно для багатомовних корпусів або текстів з відмінним історичним написанням.
| Техніка | Типове застосування | Де модель помиляється |
|---|---|---|
| NER | Індекс осіб і місць в архіві | Невідомі власні назви, історичні скорочення |
| Тематичне моделювання | Карта дискурсу у великому корпусі | Короткі тексти, висока полісемія |
| Аналіз сентименту | Тон преси, публічний дискурс | Іронія, евфемізми, архаїчна мова |
| Семантичний пошук | Подібні уривки в різних мовах | Спеціалізований жаргон поза тренувальним набором |
| Екстракція зв’язків | Мережі зв’язків персонажів або інституцій | Складні речення з кількома підрядними |
Як це виглядає на практиці дослідження#
У Cashcrown ми працюємо з організаціями, які мають великі текстові ресурси і хочуть зробити їх доступними для пошуку або кількісного аналізу. Шаблон роботи повторюваний:
Спочатку відбувається підготовка корпусу: OCR оцифрованих документів, нормалізація кодування, видалення артефактів сканування. Цей етап визначає якість усього, що буде далі. Брудні вхідні дані призводять до брудних результатів.
Потім попередня класифікація моделлю. Система RAG або класифікатор вказує кандидатів для подальшого аналізу, групує документи тематично, екстрагує сутності. Результати мають форму списку з присвоєними вагами впевненості.
Далі верифікація експертом. Дослідник переглядає вибірку результатів, оцінює, чи має класифікація сенс з точки зору змісту, коригує мітки там, де модель помилилася. Це той момент, коли галузева експертиза є незамінною. Модель не знає, що слово «віктор» у польському тексті XIX століття може бути ім’ям або назвою нагороди. Історик знає.
На завершення ітерація та кількісний аналіз: виправлена модель обробляє решту корпусу, а дослідник аналізує агреговані статистичні результати. Інтерпретація належить людині.
Де модель регулярно помиляється#
Цей розділ важливіший за перелік можливостей, бо визначає, коли довіряти результатам, а коли — ні.
Іронія та заперечення. Аналіз сентименту дає збій на текстах, які говорять протилежне до поверхневого змісту. Проповідь, яка «хвалить» нечесність купців, щоб їх присоромити, буде класифікована моделлю як позитивна щодо нечесності.
Історичний контекст та лексичні зсуви. Слова змінюють значення з часом. «Ліберальний» у 1850 році означає щось інше, ніж у 2020. Модель, натренована на сучасних текстах, перенесе сучасні конотації на історичне вживання, що може спотворити результати тематичного моделювання або класифікації сентименту.
Галюцинації при екстракції фактів. Коли просимо LLM зробити резюме або екстракцію даних з історичного тексту, модель може заповнити прогалини власною «інформацією» замість того, щоб визнати, що дані відсутні. У гуманітарних дослідженнях кожне твердження має бути верифікованим посиланням на джерело. Автоматична екстракція без верифікації людиною тут неприпустима.
Мови та діалекти з низькою представленістю. Моделі, натреновані переважно на англійській, мають значно гіршу якість для текстів регіональними мовами, діалектами та історичним письмом. Дослідник, який працює зі староукраїнською чи готичним письмом, повинен перевірити якість моделі на власній вибірці перед масштабуванням.
Етика та цілісність дослідження#
Застосування NLP у гуманітаристиці ставить питання, якими методологія має займатися прямо.
Упередженість представництва. Оцифровані архіви неповні. Тексти, написані жінками, особами з нижчих класів, мовними чи релігійними меншинами, історично недопредставлені. Модель, натренована або застосована до такого корпусу, відтворить це викривлене представництво як результат. Дослідник повинен це розуміти та інтерпретувати кількісні результати з цією обізнаністю.
Методологічна прозорість. Все більше наукових видань вимагають декларувати, які етапи аналізу були підтримані системами AI та які інструменти застосовано. Приховування цього факту є порушенням стандартів відтворюваності. Хороша практика — розглядати логи промптів та результати моделі як частину методологічної документації.
Human-oversight як принцип, а не виняток. Результат моделі — це гіпотеза для верифікації, а не висновок для цитування. Кожне твердження, яке потрапить до публікації, має бути підтверджене експертом на основі першоджерел. Ця вимога не є бюрократичним гальмом. Це гарантія, що наука залишається фальсифікованою.
Практична точка входу#
Найпоширеніша помилка при першому впровадженні інструментів NLP у дослідницькому проекті: застосування моделі до всього корпусу без валідації на вибірці.
Рекомендований шаблон:
- Випадковий відбір 100-200 документів з корпусу для ручної анотації експертом.
- Запуск моделі на цій самій вибірці та порівняння результатів.
- Вимірювання точності та чутливості для категорій, важливих для проекту.
- Рішення дослідника: чи достатня якість для застосування на всьому корпусі? Якщо ні, що потребує корекції (fine-tuning, зміна моделі, уточнення інструкцій)?
Тільки після цієї калібрування має сенс масштабування. Пропуск цього кроку призводить до виявлення через місяці, що модель допускала систематичну помилку, яка скасовує значну частину результатів.
FAQ#
Чи можна застосовувати NLP до текстів історичною польською мовою, наприклад, з XVI–XVIII століть?#
Можна, але з обережністю. Моделі, натреновані на сучасній польській, мають суттєві обмеження при роботі з архаїчними текстами: відмінні флексійні форми, латинські вставки, відсутність нормалізації орфографії та фонетичний запис замість сучасного. Практичний підхід — застосування багатомовних моделей з ручною верифікацією на вибірці та, де можливо, використання історичних корпусів як даних для донавчання. Результати слід розглядати як попередні вказівки, а не точні дані.
Яким має бути розмір корпусу, щоб NLP мало сенс?#
Чіткого порогу немає. При кількох десятках документів ручний аналіз швидший і точніший. NLP стає доцільним, коли корпус налічує сотні або тисячі текстів, а дослідницьке питання стосується патернів, що повторюються у великому масштабі. Для невеликих колекцій ціннішим є використання моделі для підтримки close reading, а не кількісного аналізу.
Чи можна цитувати результати аналізу NLP безпосередньо в науковій статті?#
Ні, як самостійні твердження. Результат моделі — це статистичне спостереження, яке потребує інтерпретації та верифікації експертом на основі джерел. У методологічному розділі можна зазначити, що модель застосовано для попередньої класифікації або екстракції, вказати параметри та інструменти. Саме наукове твердження має спиратися на верифіковані докази, а не на результат алгоритму.
Які ризики застосування загальних мовних моделей замість спеціалізованих?#
Загальні моделі (натреновані на широкому інтернет-корпусі) не знають спеціалізованої галузевої лексики, жанрових конвенцій та історичного контексту. Вони можуть присвоювати змістовно логічні, але неадекватні за змістом мітки. Спеціалізовані моделі або моделі з додатковим галузевим контекстом (через архітектуру RAG) дають кращі результати для спеціалізованих текстів. Калібрування на власній вибірці — єдиний спосіб перевірити, яка модель достатньо добра для конкретного проекту.
Чи порушує NLP приватність при аналізі текстів, що містять персональні дані?#
Це залежить від характеру текстів та способу обробки. Аналіз опублікованих історичних матеріалів рідко створює правові проблеми. Обробка документів, що містять персональні дані живих осіб, підпадає під дію GDPR і вимагає оцінки правової основи, а часто — псевдонімізації перед передачею зовнішній системі AI. Конфіденційні дані слід обробляти виключно через локальні системи або з повним договором доручення обробки.
Пов’язані теми: науковці з AI досягають більшого, межі автономії AI у науці, роль людини в петлі, як обмежити галюцинації, проблема чорної скриньки.