Что такое Adobe Firefly? Как использовать этот мощный инструмент искусственного интеллекта
Все товары, представленные в WIRED, выбираются нашими редакторами независимо. Однако мы можем получать вознаграждение от розничных продавцов и/или от покупок товаров по этим ссылкам. Подробнее.
Adobe Firefly сейчас кажется самым тщательно охраняемым секретом в сфере программного обеспечения. Adobe активно рекламирует приложение и его возможности на таких мероприятиях, как Adobe MAX , но даже при таком внимании оно не привлекает столько внимания, сколько конкуренты. Приложение Firefly — это площадка для творчества с использованием искусственного интеллекта, позволяющая использовать генеративные модели для создания изображений, видео и многого другого, но его возможности гораздо шире: от пакетного редактирования фотографий до превращения одного кадра в полноценное видео.
Firefly — это не просто инструмент для генерации ИИ с текстовыми подсказками. Это мощный инструмент, объединяющий десятки моделей, в том числе от Adobe, Google, OpenAI, ElevenLabs и Topaz, что позволяет создать универсальное решение для создания ИИ. Вот всё, что вам нужно знать об использовании этого приложения.
Adobe Firefly — это набор инструментов генеративного ИИ, разработанных для творческих рабочих процессов, будь то векторная графика, редактирование фото и видео или даже генерация творческих идей. Некоторые функции Firefly встроены в приложения Adobe Creative Cloud, от Photoshop до InDesign, но здесь я расскажу о веб-приложении Firefly . Оно объединяет все функции генеративного ИИ Adobe в одном месте и интегрировано с другими веб-инструментами, включая Photoshop Web и Adobe Express.
Я не смогу охватить все возможности Firefly, но его функциональность в целом можно разделить на четыре основные категории:
- Идеация: Firefly позволяет создавать доски — бесконечно прокручиваемые холсты со встроенными функциями искусственного интеллекта. Вы можете загружать собственный контент, генерировать его прямо на доске и объединять различные элементы контента с помощью предустановленных рабочих процессов. Например, есть функция «примерки», где можно загрузить несколько поз и нарядов и с помощью искусственного интеллекта посмотреть, как они будут смотреться на вас.
- Генерация: Firefly включает в себя более десятка моделей искусственного интеллекта, охватывающих различные модальности, включая сторонние модели и собственные коммерчески безопасные модели Firefly от Adobe. Эта область Firefly обеспечивает полную генерацию, будь то преобразование текста в речь, видео или изображение, или другие модальности, такие как преобразование изображения в видео или текста в вектор.
- Производство: Помимо чистой генерации видео, Firefly включает в себя ряд функций ИИ, которые можно использовать в процессе производства. Среди них — автоматические субтитры для видео, переводы, улучшение речи, удаление фона, масштабирование и многое другое. В эту категорию также входит новый видеоредактор Firefly, а также текстовый редактор изображений, использующий ИИ.
- Быстрые действия: Невоспетый герой Firefly — это Быстрые действия. Это простые, но зачастую утомительные действия, такие как конвертация изображений и видео, кадрирование, добавление субтитров и создание QR-кода. Другие приложения выполняют те же действия, но собрать их все в одном месте — это здорово.
Firefly — это инструмент на основе искусственного интеллекта, но, как видно даже из краткого описания его функций, он выходит далеко за рамки создания изображений с помощью ИИ. Эти инструменты также интегрированы с веб-экосистемой Adobe, поэтому вы можете загрузить изображение, созданное с помощью ИИ, в Photoshop Web или объединить несколько созданных ресурсов в Adobe Express .
Firefly также объединяет десятки моделей ИИ под одной крышей. Постоянно появляются новые модели ИИ, от недавнего ажиотажа вокруг Nano Banana от Google до ранних стадий создания видео с помощью ИИ с помощью таких моделей, как Runway . Обычно для доступа ко всем этим моделям приходится заходить на несколько сайтов и оформлять несколько подписок, но Firefly объединяет подавляющее большинство из них под одной крышей.
Существует четыре различных тарифных плана Firefly , и я подробнее расскажу о них ниже, но лучше рассматривать Firefly как часть генеративных кредитов, чем какой-либо конкретный план. Генеративные кредиты — это сердце Firefly. С каждым тарифным планом вы получаете определённое количество кредитов и можете тратить их на создание различных типов контента.
Ситуация с кредитами непростая. Каждая модель и функция Firefly потребляет разное количество кредитов, и это количество может меняться. Например, Google Nano Banana стоит 10 кредитов за поколение , а Imagen 4 сейчас стоит 20, но это ограниченное время, поскольку это более новые модели.
Кроме того, некоторые модели потребляют больше кредитов в зависимости от выходного качества. Например, популярная модель гигапиксельного масштабирования Topaz Labs стоит 10 кредитов до 25 мегапикселей, но 20 кредитов при разрешении свыше 25 мегапикселей. Аналогично, видеомодель Luma AI Ray2 стоит 50 кредитов в секунду для видео 720p, но 150 кредитов в секунду для видео 4K. Adobe сообщает, что эти суммы кредитов могут меняться, что может быть к лучшему. Со временем, когда модели требуют меньше вычислительных ресурсов, стоимость может снизиться.
Помимо моделей и функций, Adobe делит свои функции генеративного ИИ на две категории: стандартные и премиум-функции. Если у вас платная подписка Firefly (или Creative Cloud Pro), вы получаете неограниченный доступ к стандартным функциям, оставляя ежемесячный лимит кредитов для генерации премиум-функций. С бесплатным тарифом Firefly вам придётся тратить кредиты независимо от того, относится ли функция к категории «стандартная» или «премиум»; однако стандартные функции обычно потребляют только один кредит за генерацию.
Эти кредиты доступны не только в Firefly, что ещё больше усложняет ситуацию. Например, функция «Генеративная заливка» в Photoshop относится к стандартной функции, а «Генеративная экстендизация» в Premiere Pro — к премиум-функции. Независимо от приложения, все они используют один и тот же пул генеративных кредитов. Если у вас закончатся кредиты, вы можете либо дождаться обнуления ежемесячного лимита, либо оформить подписку на дополнительный тарифный план по следующим тарифам:
- 2000 кредитов: 10 долларов в месяц
- 7000 кредитов: 30 долларов в месяц
- 50 000 кредитов: 200 долларов в месяц
С каждым из этих дополнительных кредитных планов вы также получите доступ к дополнительным 100 ГБ облачного хранилища, и они продлеваются ежемесячно, как обычная подписка Adobe.
Хотя большинство функций Firefly в той или иной форме используют кредиты, есть и исключения. Быстрые действия, как правило, не используют генеративные кредиты, как и такие инструменты, как Boards и Firefly Video Editor. Кредиты тратятся только при использовании функций, использующих генеративный ИИ.
Существует несколько способов доступа к функциям Adobe Firefly, но Adobe также предлагает четыре тарифных плана специально для Firefly. Вот как они работают:
Главное различие заключается в бесплатном тарифе Firefly и трёх платных вариантах. Бесплатный тариф следует рассматривать скорее как пробный. Количество предоставляемых кредитов варьируется, поэтому вы можете свободно экспериментировать и пробовать разные модели, но Adobe не устанавливает строгих ограничений по количеству кредитов. Все три платных тарифа предлагают схожий доступ к функциям, но ежемесячный бюджет кредитов различается.
Вы также можете получить доступ к Firefly по подписке Creative Cloud . Creative Cloud Standard предоставляет вам 25 ежемесячных кредитов и работает аналогично Firefly Free: вам нужно будет потратить эти кредиты на генеративный ИИ, независимо от того, используете ли вы функции Standard или Premium. Creative Cloud Pro, с другой стороны, по сути, включает в себя Firefly Pro с 4000 ежемесячных кредитов и неограниченным доступом к функциям генеративного ИИ Standard.
Для Adobe Firefly нет настольного приложения, но вы можете открыть его в браузере по адресу firefly.adobe.com . Войдите в систему или зарегистрируйте учётную запись, и вы увидите текстовое сообщение и несколько полей с предложениями различных действий. Слева также есть меню для навигации.
Firefly — мощный инструмент, и я не смогу описать все его возможности. Вместо этого я покажу вам простой рабочий процесс: сгенерируйте изображение с помощью модели ИИ, а затем используйте это изображение в качестве начального кадра для создания короткого зацикленного видео.
В верхней части страницы выберите «Создать». Вы можете либо создать новый файл, либо сгенерировать новый файл. Создание файла позволяет, например, загрузить фотографию и использовать генеративный ИИ для её редактирования, а генерация файла создаёт изображение с нуля с помощью модели ИИ. В этом примере выберите «Изображение» в разделе «Сгенерировать».
На этом новом экране вы увидите поле подсказок, похожее на чат-бот, а также несколько общих настроек. В верхней части боковой панели вы можете выбрать модель и соотношение сторон, а также загрузить референсное изображение. Если вы хотите добиться чего-то конкретного, загрузите референсное изображение. В поле подсказок вы увидите стоимость генерации, а также переключатель подсказок. После ввода подсказки выберите «Сгенерировать» .
Итак, у вас есть изображение, но это только начало. Если результат вам не нравится, нажмите на три точки рядом с изображением и выберите «Сгенерировать ещё» , чтобы получить доступ к дополнительным параметрам. Если изображение близко к идеальному, но не идеально, наведите на него курсор, выберите «Изменить», а затем выберите «Использовать как эталонное изображение» , чтобы отправить его обратно в ИИ-модель. В этом же меню вы также можете выбрать «Изменить изображение», что позволит вам внести изменения в сгенерированное изображение, общаясь с ИИ-моделью.
Выбрав понравившееся изображение, вы можете вернуться на главный экран Firefly, нажав на значок в левом верхнем углу. Adobe хранит историю генерации в Firefly, поэтому вы можете использовать сгенерированные ресурсы позже. Теперь, когда у нас есть начальный кадр, приступим к созданию видео. Снова выберите «Новый» и «Видео».
В меню слева вы увидите похожие настройки, включая нужную модель, разрешение и соотношение сторон, а также частоту кадров и длительность. Внизу, в поле запроса, появилось новое поле, где можно выбрать кадр. Выберите его, а затем выберите Adobe Cloud Storage. Вы можете выбрать ранее сгенерированное изображение из истории генерации.
Введите нужную подсказку и нажмите «Сгенерировать». В этом примере я попросил Veo 3.1 добавить естественное движение и зациклить его, и Veo справился на удивление хорошо, без дополнительных инструкций.
В Firefly можно делать гораздо больше, но я хочу обратить ваше внимание на Доски. Это бесконечно прокручиваемая доска настроения, на которой можно создавать изображения и видео, а также загружать собственный контент. Доски становятся ещё интереснее благодаря шаблонам. Их можно найти на нижней панели инструментов, и Adobe предлагает несколько вариантов, например, превратить изображение в мультфильм или изменить перспективу фотографии.
Adobe Firefly позиционируется как инструмент с коммерческим применением, то есть вы можете использовать его, например, для создания рекламных материалов. Однако коммерческая жизнеспособность проектов Firefly зависит от используемых вами моделей.
Собственные модели Firefly от Adobe безопасны для коммерческого использования. Adobe заявляет, что обучает свои модели на данных, являющихся собственностью компании, и вы являетесь владельцем результатов. Когда я спросил компанию о коммерческом использовании, она ответила, что модели Firefly аналогичны приложениям Adobe. Это инструменты, и всё, что вы делаете с их помощью, безопасно для коммерческого использования и не требует отчислений.
Firefly также предлагает партнёрские модели, которые могут быть небезопасны для коммерческого использования. Всё зависит от модели и ваших целей. Например, Nano Banana, как правило, безопасен для коммерческого использования, но если вы используете его для создания изображения, нарушающего авторские права, это небезопасно для коммерческого использования. Если вы обеспокоены, лучше использовать модели Firefly.
Другие функции генеративного ИИ, как правило, не связаны с лицензионными отчислениями или коммерческим использованием. Например, использование Topaz Gigapixel для увеличения масштаба созданного вами изображения безопасно, как и использование таких функций, как Generative Expand или Generative Fill, даже при использовании партнёрских моделей.
wired
