Содержание
Мета выпустила новое обновление, пополнившее свой растущий арсенал новым инструментом искусственного интеллекта. На этот раз они привносят голливудскую атмосферу в искусственный интеллект с помощью Movie Gen — новой модели искусственного интеллекта, которая превращает ваши текстовые подсказки в видео в формате Full HD. Хотя визуальные эффекты довольно впечатляющие, наше внимание привлек идеально синхронизированный звук и целый набор инструментов персонализации. Ниже мы подробно рассмотрим, что такое Movie Gen и его текущий статус.
Что такое киногенство?
Movie Gen — новый инструмент искусственного интеллекта Meta для создания видео. Что отличает его от аналогичных инструментов искусственного интеллекта для преобразования текста в видео, так это использование 30 миллиардов параметров, что на данный момент является самым высоким показателем в отрасли. Думайте о параметрах как о шкалах, которые настраивают модели ИИ во время обучения и обучения на основе данных. Чем больше параметров имеет модель, тем больше нюансов информации она может обрабатывать. Для сравнения: SORA OpenAI имеет около 20 миллиардов параметров (по неофициальным источникам), что делает Movie Gen значительным шагом вперед.
В настоящее время модель может создавать 16-секундные видеоролики с частотой 16 кадров в секунду и синхронизированным звуком 48 кГц. Однако он предлагает множество других возможностей, о которых мы поговорим ниже.
Вот что может сделать Meta’s Movie Gen
Преобразование текста в видео
Вы можете создать видео, просто набрав текстовую подсказку. Модель искусственного интеллекта обрабатывает текст и создает полностью визуализированное видео с высококачественной графикой, включая звук. Система поддерживает различные соотношения сторон, например 1:1, 9:16 и 16:9, и может создавать видео с разрешением до 1080p.
Создавать персонализированные видеоролики
Вы также можете загрузить свое изображение или изображение другого человека, а затем ввести запрос для создания персонализированных видео. Это означает, что вы можете, например, поместить себя в живописный пейзаж или создать видео, в котором вы взаимодействуете с анимированными элементами. Вы также можете изменить соотношение сторон и разрешение до 1080p.
Редактировать видео с помощью текста
Инструмент Movie Gen AI позволяет редактировать существующие видео так же легко, как набирать текст. Вы можете изменять существующие видео, предоставляя текстовые инструкции, включая добавление или изменение объектов, изменение фона или настройку других визуальных элементов.
Например, если у вас есть видео с изображением пляжа, вы можете добавить инструкцию типа «добавьте пальму слева» или «измените небо на закат».
Преобразование видео в аудио
Это самое интересное. Movie Gen создает короткие видеоролики, а затем может добавлять соответствующий звук, синхронизированный с кадрами. Он генерирует фоновую музыку, звуковые эффекты и окружающие шумы, соответствующие видеоконтенту.
Например, если действие созданного видео происходит в лесу, Movie Gen добавит звуки шелеста листьев, щебетания птиц и другие естественные шумы. Помимо звуков, вы также можете добавить музыку, упомянув «рок-гитарную музыку», которая будет воспроизводиться синхронно с визуальными эффектами и иметь смысл для зрителя.
Преобразование текста в аудио
Эта функция позволяет создавать реалистичные саундтреки или эффекты из текстовых подсказок, даже если у вас нет видео. Например, вы можете ввести «городская улица вечером», и Movie Gen AI сгенерирует соответствующие окружающие звуки, такие как шум транспорта, разговоры людей и отдаленные гудки.
Ограничения Movie Gen
Хотя Movie Gen впечатляет, он не безграничен. Вот что мы нашли:
- Нет публичного доступа. На данный момент Movie Gen доступен только исследовательским группам Meta и избранным партнерам. Публичного доступа пока нет, хотя Meta намекает, что они могут опубликовать некоторые соответствующие данные для использования в исследованиях в будущем. Поэтому большинству создателей контента приходится ждать публичного релиза.
- Только короткие видео. В настоящее время модель может создавать видеоролики продолжительностью до 16 секунд. Для чего-то большего вам понадобится другое решение. Например, OpenAI утверждает, что SORA будет поддерживать до 60 секунд.
- Частота кадров : видео генерируется со скоростью 16 кадров в секунду, что хорошо подходит для коротких клипов, но не идеально для длинных или высококачественных видео, требующих более высокой частоты кадров.
Пока Movie Gen не станет общедоступным, его эффективность в реальных сценариях остается неопределенной. Однако, учитывая опыт Meta в разработке моделей искусственного интеллекта с открытым исходным кодом, вполне вероятно, что Movie Gen также станет открытым и бесплатным для использования, что сделает его преимущества более доступными. Открытый исходный код также может способствовать разработке более совершенных моделей с более высокой частотой кадров и более продолжительным видео.
Может ли поколение кино изменить правила игры
В настоящее время мы можем полагаться только на утверждения Meta, и исходя из этого, этот инструмент кажется лучшим инструментом для создания видео на бумаге. Он может создавать видео с нуля или использовать ваши изображения, редактировать видео с помощью текстовых подсказок и даже создавать аудио. Если он станет открытым исходным кодом, как Модели ламы от Meta , это может существенно повлиять на создание контента для всех. Однако его реальная производительность еще предстоит проверить.
