Як підібрати модель AI під задачу (а не під моду)

Найчастіше питання звучить так: «Яка модель AI найкраща?». Це неправильне питання — як «яка машина найкраща?» без уточнення, чи возиш цемент, чи змагаєшся на треку. Краще питання: яка модель для цієї конкретної задачі, за моїх витрат і моїх даних?

Моделі відрізняються профілем, а не «інтелектом загалом». Одна починає відповідь за 0,4 с, але менша. Інша має вікно контексту на мільйон токенів, але відповідає повільно. Третя чудово пише код, але погано резюмує. Вибір «однієї на все» означає, що за прості задачі переплачуєш потужністю, а при складних бракує якості.

Тому ми не ставимо на одну модель, а на роутер, який має у розпорядженні цілу флотилію й підбирає з неї інструмент під проблему.

Спочатку назви задачу, потім підбери клас моделі. На практиці вистачає кількох категорій:

• Спілкування / асистент на знаннях — модель instruct з хорошим балансом якості та латентності.
• Міркування — модель «мисляча» (див. нижче), запускається свідомо там, де важлива точність рішень.
• Код — модель, спеціалізована на програмуванні; важлива пропускна здатність, бо відповіді бувають довгими.
• Швидкі / дешеві / класифікація — маленька, блискавична модель для роутингу намірів, тегування, екстракції полів.
• Візія — мультимодальна модель, яка розуміє зображення й текст разом.
• Резюмування — не-«мисляча» модель, яка конденсує, а не філософствує.

Цю мапу задача→модель підтримуємо як конкретну матрицю роутингу — кожна задача має основну й запасну модель. Дивись, яка модель що обслуговує, в атласі моделей, а як складаємо їх у готові системи — у розділі як це будуємо.

Назви моделей натякають на швидкість і якість, яких немає. «Flash», «pro», «large» — це маркетинг, а не вимір. З наших власних вимірів: модель із «flash» у назві може видавати 0,6 токена на секунду (дуже повільно), а велика модель «671B» — 45 токенів на секунду (дуже швидко). Якби ми довіряли назві, обрали б навпаки.

Тому кожну модель підбираємо за виміром: час до першого токена (TTFT), пропускна здатність (токени/с), реальне вікно контексту й те, чи модель взагалі повертає контент у даному режимі. Цифри на сторінках моделей походять із живого роутера, а не з каталогів.

Частина сучасних моделей — це моделі «мислячі»: перш ніж відповісти, ведуть внутрішнє міркування. Це потужно для складних рішень — і дорого та повільно для простих. Що гірше, увімкнені «на силу» в звичайному чаті можуть спалити весь бюджет на міркування й повернути порожню відповідь.

Правило просте: режим міркування вмикай лише для задач, які його справді потребують (аналіз, планування кроків агента, складні вибори). Для спілкування, перекладів, коду й резюмування тримай його вимкненим — швидше, дешевше й з гарантією контенту. Роутер робить це за тебе автоматично.

Підбір — це не лише якість:

• Витрати — хмара рахує час роботи GPU, тому повільніша/більша модель — дорожча відповідь. Найдешевша модель, яка витягне задачу, перемагає.
• Чутливі дані — якщо обробляєш регульовані дані (RODO), частину обробки тримай локально; ембедінги рахуй у себе, а PII маскуй, перш ніж щось піде в хмару.
• Надійність — окрема модель буває тимчасово перевантажена; тому кожна задача має ланцюжок запасних, а не одну точку відмови.

Якщо хочеш пройти це з конкретикою для свого випадку, маємо інтерактивний підбір стеку — кілька питань і рекомендація шарів, включно з моделями.

Наведений нижче приклад запускає модель через наш безпечний sandbox — той самий, що й у playground: PII масковані, нульове зберігання, ті самі ліміти. Задай питання про підбір моделі й побач відповідь.

Жодна окрема. Найкращий — роутер, який для кожної задачі підбирає найдешевшу модель, що її витягне — спілкування, міркування, код, візія й резюмування мають різні профілі, тому й різні моделі. Вибір «однієї на все» або переплачує за прості задачі, або не вистачає на складні.

За виміром, а не за назвою. Перевір час до першого токена, пропускну здатність (токени/с), реальне вікно контексту й чи модель повертає контент у даному режимі. Назви типу «flash» чи «large» бувають оманливими — трапляється, що «flash» повільніший за велику модель.

Лише для задач, які справді потребують міркування — аналіз, планування, складні рішення. Для спілкування, перекладів і резюмування режим міркування вимикай: він повільніший, дорожчий і може повернути порожню відповідь, якщо задача його не потребує.

Можна, але рідко це вигідно. Одна модель на все означає переплату потужністю за прості задачі й компроміси якості при складних. Роутер з кількома моделями дешевший і надійніший, а складність бере на себе шар, а не ти.