#OpenAIInferenceCostTest

#OpenAIQ2LossWidens Швидкозростаючі компанії не завжди стають чудовими бізнесами. OpenAI продовжує зростати, але збитки теж зростають. Anthropic йде іншим шляхом, демонструючи ранні ознаки прибутковості. Дохід привертає увагу в заголовках. Стійка економіка зазвичай визначає, хто переможе марафон. Що для вас важливіше сьогодні — зростання чи прибутковість?

ЩОЙНО: Ймовірність IPO Anthropic перевищує $SPCX стрибок оцінки SpaceX на $1,77 трильйона.

OpenAI використала штучний інтелект (моделі Sol та Astra) для допомоги у розробці чипів Jalapeño, які працюватимуть з AI.

OpenAI заявляє, що її новий чіп Jalapeño AI може суттєво знизити вартість роботи штучного інтелекту, але Джим Крамер (@jimcramer) залишається скептично налаштованим, що він становить серйозну загрозу для Nvidia ($NVDA). Jalapeño — це перший власний інференційний чіп OpenAI, розроблений разом із Broadcom ($AVGO). Компанія планує розпочати його внутрішнє впровадження до кінця 2026 року, а виробництво очікується подальше зростання у 2027 році. Генеральний директор OpenAI Сем Олтман (@sama) описав чіп просто: «Ми зробили чіп, і він дуже швидкий.» Компанія вже працює над версіями другого та третього покоління. OpenAI стверджує, що Jalapeño може забезпечити як вищу пропускну здатність, так і нижчу затримку — поєднання, яке досягти складно. Її внутрішні бенчмарки показали кращу продуктивність на ват, ніж системи Nvidia GB200 та GB300 на кількох великих моделях штучного інтелекту. Залежно від навантаження, OpenAI стверджує, що Jalapeño забезпечував приблизно в 1,5–1,9 рази більше продуктивності на ватт і значно нижчу затримку. Чіп розроблений спеціально для інференції, а не для навчання ШІ. Керівник апаратного забезпечення OpenAI Річард Хо заявив, що ці підвищення ефективності можуть зрештою призвести до зниження цін на токени для клієнтів у міру масштабування чипа у виробництво. Проте OpenAI не планує повністю замінити Nvidia. Компанія заявила, що продовжить використовувати прискорювачі Nvidia та апаратне забезпечення від інших партнерів як для навчання, так і для висновків. Крамер відкинув ідею, що кожен новий чіп на основі штучного інтелекту є значущим суперником Nvidia. Він сказав, що регулярно чує заяви про кращі чипи, але все ще не бачить «реальних конкурентів» Nvidia у масштабі.

Халапеньо від OpenAI — це сигнал того, що індустрія ШІ вступає в еру «володіння стеком». Раніше плейбук був зосереджений на своїй дорозі і зосереджений. Компанії з моделей навчали моделей. Компанії з виробництва чипів виготовляли чипи. Компанії з обробки даних збирали дані. Ця епоха минула. OpenAI починався як чиста лабораторія моделей. Зараз вони розробляють кастомний кремній і оптимізують повні системи під свої реальні робочі навантаження. Цього тижня ми також побачили, як @Figure_robot перейшли на рівень даних і запустили Index — власну ініціативу зі збору даних, що охоплює 108 країн. Всі рухаються вгору і вниз по стопці. Частково, ймовірно, зроблено для поглиблення вузьких ровів, частково — для зниження витрат, частково — для виправдання оцінки.

OpenAI створила власний чіп виведення (Jalapeño) і перейшов від першого RTL до tapeout за 9 місяців. Коли я проектував і обробляв складні SoC, 18–24 місяці від RTL до tapeout були нормою. Верифікація та фізичне проєктування займали більшість цього графіка. Написання ШІ для Verilog/VHDL — це очікувано з усіма агентами кодування. Вражаюче було те, що @OpenAI команда використала внутрішню модель з швидким зворотним зв'язком якості якості та надійною перевіркою для оптимізації RTL ШІ справді стискає цикл дизайну... Добре для всіх. Ми побачимо більше кремнію та більше інновацій. Тепер диференціація переходить до забезпечення потужностей TSMC і розподілу HBM... Можна спроектувати більше чіпів... Але у великих масштабах можна виробляти менше.

Ранні тести OpenAI на халапеньйо вказують на потенційно значущий зсув в економіці виведення: у 1,5-1,9 раза більша пропускна здатність на ватт і 1,7-3,6 рази нижча затримка від кінця до кінця на відкритих моделях. GPT-5.6 Sol також, за повідомленнями, використовував на 54% менше вихідних токенів, ніж провідний конкурент у виконанні завдань кодування. Виміряна оцінка полягає в тому, що підвищення ефективності може покращити економіку одиниць, але перевірені компаніями бенчмарки ще не є доказом нижчих агрегованих витрат. З $6,7 млрд доходу у другому кварталі проти операційного збитку $12,3 млрд, масштабне впровадження та зростання навантаження матимуть важливіше за загальні результати. Це не поради, а просто аналіз. #OpenAIInferenceCostTest