Господи! Новый, на 200% более быстрый вариант DeepSeek R1-0528 появился в немецкой лаборатории TNG Technology Consulting GmbH

Прошло чуть больше месяца с тех пор, как китайский стартап DeepSeek, работающий в сфере искусственного интеллекта и являющийся ответвлением гонконгской компании High-Flyer Capital Management, выпустил последнюю версию своей популярной модели с открытым исходным кодом DeepSeek — R1-0528.

Как и его предшественник DeepSeek-R1, который потряс ИИ-сообщества и мировое бизнес-сообщество своей дешевизной обучения и хорошими результатами в задачах логического мышления, причем все это доступно разработчикам и предприятиям бесплатно, R1-0528 уже адаптируется и ремикшируется другими лабораториями и разработчиками ИИ, во многом благодаря своей разрешительной лицензии Apache 2.0.

На этой неделе 24-летняя немецкая фирма TNG Technology Consulting GmbH выпустила одну из таких адаптаций: DeepSeek-TNG R1T2 Chimera , последнюю модель в своем семействе больших языковых моделей (LLM) Chimera. R1T2 обеспечивает заметный прирост эффективности и скорости, набирая более 90% от результатов тестов интеллекта R1-0528 , при этом генерируя ответы с менее чем 40% от количества выходных токенов R1-0528 .

Это означает, что он выдает более короткие ответы, что напрямую приводит к более быстрому выводу и более низким затратам на вычисления . На модельной карте TNG, выпущенной для своего нового R1T2 в сообществе обмена кодом ИИ Hugging Face, компания заявляет, что она «примерно на 20% быстрее обычного R1» (того, который был выпущен еще в январе) «и более чем в два раза быстрее R1-0528» (официальное обновление от DeepSeek за май).

Реакция сообщества разработчиков ИИ уже была невероятно позитивной. «ЧЕРТ! DeepSeek R1T2 — на 200% быстрее, чем R1-0528 и на 20% быстрее, чем R1», — написал Вайбхав (ВБ) Шривастав, старший руководитель Hugging Face, на X. «Значительно лучше, чем R1 по GPQA и AIME 24, создано Assembly of Experts с DS V3, R1 и R1-0528 — и имеет лицензию MIT, доступно на Hugging Face».

Этот прирост стал возможным благодаря методу Ассамблеи экспертов (AoE) TNG — технологии построения LLM путем выборочного объединения весовых тензоров (внутренних параметров) из нескольких предварительно обученных моделей, которую TNG описала в статье, опубликованной в мае в arXiv, нерецензируемом открытом онлайн-журнале.

Преемник оригинальной R1T Chimera, R1T2 представляет новую конфигурацию «Tri-Mind», которая объединяет три родительские модели: DeepSeek-R1-0528, DeepSeek-R1 и DeepSeek-V3-0324. Результатом является модель, разработанная для поддержания высокой способности к рассуждению при значительном снижении стоимости вывода.

R1T2 создан без дальнейшей тонкой настройки или переобучения. Он наследует силу рассуждения R1-0528, структурированные модели мышления R1 и лаконичное, ориентированное на инструкции поведение V3-0324 — предоставляя более эффективную, но при этом способную модель для использования в предпринимательстве и исследованиях.

Mixture-of-Experts (MoE) — это архитектурный проект, в котором различные компоненты, или «эксперты», условно активируются для каждого входа. В MoE LLM, таких как DeepSeek-V3 или Mixtral, только подмножество экспертных слоев модели (например, 8 из 256) активны во время прямого прохода любого заданного токена. Это позволяет очень большим моделям достигать большего количества параметров и специализации, сохраняя при этом управляемые затраты на вывод — поскольку только часть сети оценивается для каждого токена.

Assembly-of-Experts (AoE) — это метод слияния моделей, а не архитектура. Он используется для создания новой модели из нескольких предварительно обученных моделей MoE путем выборочной интерполяции их весовых тензоров.

«Эксперты» в AoE относятся к объединяемым компонентам модели (обычно это маршрутизированные экспертные тензоры в слоях MoE), а не к экспертам, динамически активируемым во время выполнения.

Реализация AoE в TNG в первую очередь фокусируется на слиянии маршрутизированных экспертных тензоров — части модели, наиболее ответственной за специализированные рассуждения — при этом часто сохраняя более эффективные общие и акцентированные слои из более быстрых моделей, таких как V3-0324. Такой подход позволяет полученным моделям Chimera наследовать силу рассуждений, не копируя многословность или задержку самых сильных родительских моделей.

Согласно сравнительным тестам, представленным TNG, R1T2 достигает от 90% до 92% производительности рассуждений своего самого интеллектуального родителя DeepSeek-R1-0528, измеренной с помощью тестовых наборов AIME-24, AIME-25 и GPQA-Diamond.

Однако, в отличие от DeepSeek-R1-0528, который имеет тенденцию выдавать длинные, подробные ответы из-за своей расширенной цепочки рассуждений, R1T2 разработан, чтобы быть намного более кратким. Он выдает похожие интеллектуальные ответы, используя при этом значительно меньше слов.

Вместо того, чтобы фокусироваться на чистом времени обработки или токенах в секунду, TNG измеряет «скорость» с точки зрения количества выходных токенов на ответ — практического показателя как стоимости, так и задержки. Согласно контрольным показателям, предоставленным TNG, R1T2 генерирует ответы, используя примерно 40% токенов, требуемых R1-0528.

Это означает сокращение длины выходных данных на 60% , что напрямую снижает время вывода и вычислительную нагрузку, ускоряя ответы в 2 раза или на 200%.

По сравнению с оригинальным DeepSeek-R1, R1T2 в среднем примерно на 20% компактнее , что обеспечивает существенный рост эффективности для высокопроизводительных или чувствительных к затратам развертываний.

Эта эффективность не достигается за счет интеллекта. Как показано в таблице бенчмарков, представленной в технической статье TNG, R1T2 находится в желаемой зоне на кривой интеллекта и стоимости вывода. Он сохраняет качество рассуждений, минимизируя многословие — результат, критически важный для корпоративных приложений, где скорость вывода, пропускная способность и стоимость имеют значение.

R1T2 выпущен под разрешительной лицензией MIT и теперь доступен на Hugging Face, что означает, что он имеет открытый исходный код и его можно использовать и встраивать в коммерческие приложения.

TNG отмечает, что, хотя модель хорошо подходит для общих задач рассуждения, в настоящее время она не рекомендуется для случаев использования, требующих вызова функций или использования инструментов, из-за ограничений, унаследованных от ее линейки DeepSeek-R1. Они могут быть устранены в будущих обновлениях.

Компания также рекомендует европейским пользователям оценить соблюдение Закона ЕС об искусственном интеллекте, который вступит в силу 2 августа 2025 года.

Предприятиям, работающим в ЕС, следует пересмотреть соответствующие положения или рассмотреть возможность прекращения использования модели после этой даты, если требования не могут быть выполнены.

Однако американские компании, работающие внутри страны и обслуживающие пользователей из США или других стран, не подпадают под действие положений Закона ЕС об искусственном интеллекте, что должно предоставить им значительную гибкость при использовании и развертывании этой бесплатной, быстрой модели рассуждений с открытым исходным кодом. Если они обслуживают пользователей в ЕС, некоторые положения Закона ЕС будут по-прежнему применяться .

TNG уже сделал предыдущие варианты Chimera доступными через такие платформы, как OpenRouter и Chutes, где, как сообщается, они обрабатывали миллиарды токенов ежедневно. Выпуск R1T2 представляет собой дальнейшее развитие в этом стремлении к общедоступности.

Компания TNG Technology Consulting GmbH , основанная в январе 2001 года, базируется в Баварии, Германия. В ее штате насчитывается более 900 сотрудников, среди которых много докторов наук и технических специалистов.

Компания специализируется на разработке программного обеспечения, искусственном интеллекте и DevOps/облачных сервисах, обслуживая крупных корпоративных клиентов в таких отраслях, как телекоммуникации, страхование, автомобилестроение, электронная коммерция и логистика.

TNG действует как консалтинговое партнерство, основанное на ценностях. Его уникальная структура, основанная на операционных исследованиях и принципах самоуправления, поддерживает культуру технических инноваций.

Компания активно участвует в сообществах и исследованиях с открытым исходным кодом, о чем свидетельствуют такие публичные релизы, как R1T2, и публикация ее методологии Ассамблеи экспертов.

Для технических директоров, владельцев платформ ИИ, руководителей инженерных подразделений и групп по закупкам ИТ-услуг R1T2 представляет ощутимые преимущества и стратегические возможности:

• Снижение затрат на вывод : благодаря меньшему количеству выходных токенов на задачу R1T2 сокращает время работы графического процессора и потребление энергии, что напрямую приводит к экономии инфраструктуры — что особенно важно в средах с высокой пропускной способностью или в реальном времени.
• Высокое качество рассуждений без накладных расходов : сохраняет большую часть рассуждений моделей высшего уровня, таких как R1-0528, но без их многословия. Это идеально подходит для структурированных задач (математика, программирование, логика), где предпочтительны краткие ответы.
• Открытость и возможность изменения : лицензия MIT обеспечивает полный контроль над развертыванием и настройкой, позволяя осуществлять частный хостинг, выравнивание моделей или дальнейшее обучение в регулируемых или изолированных средах.
• Новая модульность : подход AoE предполагает будущее, в котором модели будут создаваться модульно, что позволит предприятиям собирать специализированные варианты путем рекомбинации сильных сторон существующих моделей, а не переобучения с нуля.
• Предостережения : предприятиям, использующим вызов функций, использование инструментов или расширенную оркестровку агентов, следует учитывать текущие ограничения, хотя будущие обновления Chimera могут устранить эти пробелы.

TNG призывает исследователей, разработчиков и корпоративных пользователей изучить модель, протестировать ее поведение и предоставить обратную связь. R1T2 Chimera доступна по адресу huggingface.co/tngtech/DeepSeek-TNG-R1T2-Chimera , а технические запросы можно направлять по адресу [email protected] .

Техническую информацию и методологию сравнительного анализа можно найти в исследовательской статье TNG по адресу arXiv:2506.14794 .

Ежедневные аналитические обзоры бизнес-кейсов с VB Daily

Если вы хотите произвести впечатление на своего босса, VB Daily вам поможет. Мы даем вам внутреннюю информацию о том, что компании делают с генеративным ИИ, от изменений в регулировании до практических развертываний, чтобы вы могли поделиться идеями для максимальной окупаемости инвестиций.

Ознакомьтесь с нашей Политикой конфиденциальности

Спасибо за подписку. Ознакомьтесь с другими рассылками VB здесь .

Произошла ошибка.