Дослідницький підрозділ Google представив TurboQuant – алгоритм стиснення пам'яті для штучного інтелекту. Користувачі порівняли розробку з технологією стартапу Pied Piper із серіалу «Кремнієва долина».
TurboQuant кратно знижує вимоги до ресурсів для великих мовних моделей і систем векторного пошуку.
Штучний інтелект оперує складними багатовимірними масивами, що зберігають інформацію про слова або зображення. Ці дані займають багато місця в кеші та уповільнюють генерацію відповідей. Традиційні методи стиснення вимагають зберігання додаткових змінних, що часто нівелює користь оптимізації.
TurboQuant вирішує проблему перевитрати пам'яті за допомогою двох механізмів. Перший алгоритм переводить вектори в полярну систему координат та стискає основний обсяг даних. Другий працює як математичний контролер, використовуючи лише один біт пам'яті для усунення залишкових прихованих помилок.
Генеральний директор Cloudflare Меттью Прінс порівняв алгоритм із досягненнями китайської моделі DeepSeek, яка раніше продемонструвала високу ефективність за мінімальних витрат на обладнання.
Розробники перевірили технологію на відкритих моделях Llama, Gemma та Mistral. Алгоритм стиснув кеш до трьох біт без втрати якості відповіді. Споживання пам'яті скоротилося мінімум у шість разів, а швидкість обчислень на графічних прискорювачах H100 зросла у вісім разів.
Інновація не потребує додаткового навчання нейромереж. Як запевняє корпорація, технологію впровадять у пошукові алгоритми та власні ІІ-продукти, включаючи Gemini. Публічна презентація проекту відбудеться на профільних конференціях ICLR та AISTATS у 2026 році.
25 березня Google розкрила плани переходу на постквантову криптографію.