Штучний інтелект на межі: стартапи шукають нові шляхи масштабування

Майбутня модель ШІ від OpenAI, за словами джерел видання The Information, покаже менш відчутний приріст продуктивності в порівнянні з попередніми версіями.

Згідно з опублікованими даними, модель Orion досягла рівня GPT-4 після проходження лише 20% навчання. Це свідчить про те, що GPT-5 не зможе так суттєво перевершити GPT-4, як це сталося з GPT-3 при переході до GPT-4.

«Orion не демонструє суттєвих переваг у виконанні певних завдань. Вона добре справляється з мовними задачами, але не перевершує попередні моделі у програмуванні», — зазначають співробітники стартапу.

Зазвичай найбільші покращення у нейромережах спостерігаються на початкових етапах навчання. Далі прогрес поступово уповільнюється. За словами джерел The Information, залишок у 80% часу навчання наврядчи принесе відчутний стрибок у продуктивності.

ШІ досягнув своїх меж

Недавні результати OpenAI, що не вирізняються оптимізмом, висвітлюють більш глобальну проблему: нестачу якісних даних для навчання.

У дослідженні, опублікованому в червні, експерти заявили, що компанії зі сфери ШІ вичерпають усі доступні текстові матеріали у період між 2026 і 2032 роками. Це може стати переломним моментом для традиційних підходів до розвитку штучного інтелекту.

“Наші результати показують, що сучасні тенденції розвитку LLM неможливо підтримувати лише через масштабування даних,” — зазначають автори дослідження.

У роботі наголошується на необхідності шукати альтернативні підходи для вдосконалення нейромереж, зокрема створення синтетичних даних чи використання закритої інформації.

Видання The Information звернуло увагу на те, що нинішня стратегія навчання LLM на відкритих текстових даних із вебсайтів, книг та інших джерел досягла точки зменшення ефективності, адже “розробники вичавили з цього формату все, що могли”.

Вихід є

OpenAI та інші компанії суттєво змінюють підходи до створення штучного інтелекту.

“На тлі сповільнення темпів покращення GPT, схоже, що індустрія тепер більше зосереджується на вдосконаленні моделей після їх первинного навчання, а не на масштабуванні під час навчального процесу. Такий підхід може сприяти появі нових правил масштабування,” — повідомляє видання The Information.

Щоб досягти постійного розвитку своїх моделей, OpenAI поділяє процес на два основні напрямки:

1. Серія O – спрямована на розвиток здібностей до логічного мислення. Ці моделі потребують значно більше обчислювальних ресурсів і створені для виконання складних завдань. Витрати на їх експлуатацію у шість разів перевищують ті, що потрібні для поточних моделей. Проте їх потужні аналітичні можливості виправдовують ці витрати для завдань, які вимагають глибокого аналізу.
2. Серія GPT – сфокусована на вирішенні широкого спектра комунікаційних завдань. Ці моделі використовують масштабну базу знань для ефективної взаємодії.

Під час АМА-сесії Кевін Вайль, директор з продуктів OpenAI, зазначив, що у майбутньому планується інтеграція цих двох підходів, що дозволить об’єднати їхні переваги.

Небезпека синтетичних даних

Створення штучних даних для вирішення проблеми їх нестачі може серйозно вплинути на надійність інформації. Цю проблему висвітлили дослідники з кількох університетів Великої Британії.

На їхню думку, такий підхід може повністю відірвати штучний інтелект від реальності та призвести до так званого «колапсу моделі». Головна проблема — це використання недостовірних даних для створення навчальних наборів наступних поколінь ШІ.

Щоб уникнути цього, OpenAI розробляє фільтруючі механізми, які допомагають зберігати якість інформації. Ці механізми інтегрують різні методи перевірки для відокремлення якісного контенту від потенційно проблемного.

Ще одним дієвим рішенням є оптимізація після навчання. Дослідники працюють над методами покращення продуктивності ШІ після початкового налаштування, не обмежуючись лише розширенням набору даних.

Раніше ЗМІ повідомляли, що OpenAI планує запустити нову передову модель під кодовою назвою Orion до грудня. Проте пізніше генеральний директор компанії Сем Альтман спростував цю інформацію.

Підходи інших компаній

Деякі науковці, дослідники та інвестори поділилися з Reuters думкою, що методи, на яких базується нова AI-модель o1, можуть “змінити хід перегонів озброєнь” у сфері штучного інтелекту.

У вересні OpenAI представила o1 — велику мовну модель, яку навчали за допомогою підкріплення для виконання складних логічних завдань. У компанії стверджують, що ця нейромережа “вміє думати”, формуючи деталізований внутрішній процес аналізу під час вирішення питань.

Співзасновник AI-стартапів Safe Superintelligence (SSI) та OpenAI Ілля Суцкевер зазначив, що результати навчання на великих масивах немаркованих даних “досягли свого піку”.

“2010-ті були часом масштабування, а зараз ми знову опинилися в епосі чудес і відкриттів. Усі шукають щось нове”,— сказав він.

Суцкевер утримався від розголошення деталей роботи своєї нової компанії SSI, лише натякнувши на альтернативний підхід до масштабування попереднього навчання.

Джерела Reuters зауважили, що дослідники великих AI-лабораторій стикаються із затримками та незадовільними результатами, намагаючись створити мовну модель, яка перевершила б GPT-4 від OpenAI, випущену майже два роки тому.

Вони експериментують із покращенням роботи нейромереж під час так званої “фази виведення”. Наприклад, замість надання однієї відповіді, AI спочатку генерує кілька варіантів і обирає найкращий.

Нагадаємо, у жовтні з’явилася інформація про те, що OpenAI працює над створенням власного AI-чипа. Розповімо більше про це у наступних статтях, не пропустіть.