Google представила сверхкомпактную и эффективную модель искусственного интеллекта с открытым исходным кодом Gemma 3 270M, которая может работать на смартфонах.


Источник: VentureBeat, создано с помощью Midjourney
Хотите получать более ценную информацию? Подпишитесь на наши еженедельные рассылки, чтобы получать только то, что важно для руководителей в сфере корпоративного ИИ, данных и безопасности. Подпишитесь сейчас
Исследовательская группа DeepMind AI из Google сегодня представила новую модель ИИ с открытым исходным кодом — Gemma 3 270M.
Как следует из названия, это модель с 270 миллионами параметров — гораздо меньше, чем 70 миллиардов или более параметров многих передовых моделей LLM (параметры — это количество внутренних настроек, управляющих поведением модели).
В то время как большее количество параметров, как правило, означает большую и более мощную модель, Google фокусируется почти на противоположном: на высокой эффективности, предоставляя разработчикам достаточно маленькую модель, чтобы ее можно было запускать непосредственно на смартфонах и локально , без подключения к Интернету , как показали внутренние тесты на Pixel 9 Pro SoC.
Тем не менее, модель по-прежнему способна обрабатывать сложные, специфичные для предметной области задачи и может быть быстро настроена всего за несколько минут в соответствии с потребностями предприятия или независимого разработчика.
Масштабирование ИИ достигает предела
Ограничения мощности, рост стоимости токенов и задержки в выводе данных меняют корпоративный ИИ. Присоединяйтесь к нашему эксклюзивному салону, чтобы узнать, как обстоят дела у лучших команд:
- Превращение энергии в стратегическое преимущество
- Разработка эффективного вывода для реального увеличения пропускной способности
- Обеспечение конкурентоспособной рентабельности инвестиций с помощью устойчивых систем ИИ
Забронируйте свое место, чтобы оставаться впереди : https://bit.ly/4mwGngO
В социальной сети X инженер по связям с разработчиками искусственного интеллекта Google DeepMind Омар Сансевьеро добавил, что Gemma 3 270M также может работать непосредственно в веб-браузере пользователя, на Raspberry Pi и «в вашем тостере», подчеркнув его способность работать на очень легком оборудовании.
Gemma 3 270M объединяет 170 миллионов параметров встраивания — благодаря большому словарю в 256 КБ, способному обрабатывать редкие и специфические токены — со 100 миллионами параметров блока-трансформера.
По данным Google, архитектура обеспечивает высокую производительность при выполнении задач по выполнению инструкций сразу из коробки, оставаясь при этом достаточно компактной для быстрой настройки и развертывания на устройствах с ограниченными ресурсами, включая мобильное оборудование.
Gemma 3 270M наследует архитектуру и предварительную подготовку более крупных моделей Gemma 3, обеспечивая совместимость со всей экосистемой Gemma. Благодаря документации, рецептам тонкой настройки и руководствам по развертыванию для таких инструментов, как Hugging Face, UnSloth и JAX, разработчики могут быстро переходить от экспериментов к развертыванию.
На тесте IFEval, который измеряет способность модели следовать инструкциям , настроенная на выполнение инструкций модель Gemma 3 270M набрала 51,2% .
По данным опубликованного сравнения Google, этот показатель значительно превосходит аналогичные небольшие модели, такие как SmolLM2 135M Instruct и Qwen 2.5 0.5B Instruct , и приближается к диапазону производительности некоторых моделей с миллиардом параметров.
Однако, как отметили исследователи и руководители конкурирующего стартапа ИИ Liquid AI в своих ответах на X, Google отказалась от собственной модели Liquid LFM2-350M, выпущенной еще в июле этого года, которая набрала целых 65,12% при всего лишь нескольких дополнительных параметрах (хотя языковая модель схожего размера).
Одно из главных преимуществ модели — её энергоэффективность. Внутренние тесты с использованием квантованной модели INT4 на базе однокристальной системы Pixel 9 Pro показали, что 25 разговоров по телефону потребляли всего 0,75% заряда аккумулятора устройства.
Это делает Gemma 3 270M практичным выбором для искусственного интеллекта на устройстве, особенно в случаях, когда важны конфиденциальность и функциональность в автономном режиме.
В релиз включены как предварительно обученная, так и настроенная на инструкции модель, что дает разработчикам возможность сразу приступить к выполнению общих задач по выполнению инструкций.
Также доступны контрольные точки Quantization-Aware Training (QAT), которые обеспечивают точность INT4 с минимальной потерей производительности и делают модель готовой к использованию в средах с ограниченными ресурсами.
Google позиционирует Gemma 3 270M как часть более широкой философии выбора правильного инструмента для работы, а не как ориентир на исходный размер модели.
Компания утверждает, что для таких функций, как анализ настроений, извлечение сущностей, маршрутизация запросов, генерация структурированного текста, проверка соответствия и творческое письмо, точно настроенная небольшая модель может обеспечить более быстрые и экономичные результаты, чем большая модель общего назначения.
Преимущества специализации очевидны в прошлой работе, например, в сотрудничестве Adaptive ML с SK Telecom.
Благодаря тонкой настройке модели Gemma 3 4B для модерации многоязычного контента команда превзошла гораздо более крупные проприетарные системы.
Gemma 3 270M создана для достижения аналогичного успеха в еще меньших масштабах, поддерживая парк специализированных моделей, созданных для решения индивидуальных задач.
Демонстрация приложения «Генератор сказок на ночь» демонстрирует потенциал Джеммы 3 270 млн.Помимо корпоративного использования, эта модель также подходит для творческих сценариев. В демонстрационном видео, опубликованном на YouTube , Google демонстрирует приложение Bedtime Story Generator, созданное с использованием Gemma 3 270M и Transformers.js, которое работает полностью автономно в веб-браузере, демонстрируя универсальность модели в лёгких и доступных приложениях.
В видеоролике демонстрируется способность модели синтезировать несколько входных данных, позволяя выбирать главного героя (например, «волшебный кот»), обстановку («в зачарованном лесу»), поворот сюжета («открывает секретную дверь»), тему («Приключенческий») и желаемую продолжительность («Короткий»).
После настройки параметров модель Gemma 3 270M генерирует связную и увлекательную историю. Приложение продолжает плести короткую приключенческую историю на основе выбора пользователя, демонстрируя способность модели к креативной, контекстно-зависимой генерации текста.
Это видео служит ярким примером того, как легкий, но мощный Gemma 3 270M может обеспечивать работу быстрых, интересных и интерактивных приложений без использования облака , открывая новые возможности для использования искусственного интеллекта на устройствах.
Gemma 3 270M выпускается в соответствии с Условиями использования Gemma, которые разрешают использование, воспроизведение, модификацию и распространение модели и производных при соблюдении определенных условий.
К ним относятся сохранение ограничений использования, изложенных в Политике Google в отношении запрещённого использования, предоставление Условий использования последующим получателям и чёткое указание любых внесённых изменений. Распространение может осуществляться напрямую или через размещённые сервисы, такие как API или веб-приложения.
Для корпоративных команд и коммерческих разработчиков это означает, что модель может быть встроена в продукты, развернута в рамках облачных сервисов или доработана для создания специализированных производных продуктов при условии соблюдения условий лицензирования. Результаты работы модели не заявляются Google, что предоставляет компаниям полные права на создаваемый ими контент.
Однако разработчики несут ответственность за соблюдение действующего законодательства и за предотвращение запрещенных видов использования, таких как создание вредоносного контента или нарушение правил конфиденциальности.
Данная лицензия не является лицензией с открытым исходным кодом в традиционном смысле, но допускает широкое коммерческое использование без отдельной платной лицензии.
Для компаний, разрабатывающих коммерческие приложения ИИ, основными эксплуатационными соображениями являются обеспечение соблюдения конечными пользователями эквивалентных ограничений, документирование изменений модели и реализация мер безопасности в соответствии с политикой запрещенного использования.
Учитывая, что число загрузок Gemmaverse превысило 200 миллионов, а линейка Gemma включает в себя облачные, настольные и оптимизированные для мобильных устройств варианты, разработчики ИИ-решений Google позиционируют Gemma 3 270M как основу для создания быстрых, экономически эффективных и ориентированных на конфиденциальность ИИ-решений, и, похоже, это уже отличный старт.
Если вы хотите произвести впечатление на своего руководителя, VB Daily поможет вам. Мы расскажем вам всё изнутри о том, что компании делают с генеративным ИИ, от изменений в законодательстве до практического внедрения, чтобы вы могли поделиться своими идеями и получить максимальную отдачу от инвестиций.
Ознакомьтесь с нашей Политикой конфиденциальности
Спасибо за подписку. Больше новостей VB можно найти здесь .
Произошла ошибка.

venturebeat