Lip-синхронизация в реальном времени и запись звука
Если у вашей веб-камеры есть микрофон, вы можете синхронно захватывать выражения лица вместе с записью голоса через
Face3D с помощью плагина
Motion LIVE 2D. В качестве альтернативы, установите микрофон на свой компьютер. Если
iPhone является устройством захвата, тогда происходит только захват данных изображения лица.
Можно записать не только голос актера, но и выражения лица с помощью функции синхронизации губ ( lip-sync), которые можно автоматически и одновременно захватывать и генерировать в движения лица персонажа.
|
Преимущества:
-
Запись живого аудио с захватом лица за один сеанс.
-
Записанный звук создает данные синхронизации губ в режиме реального времени.
-
Смешивание синхронизации губ и захват движений, для создания целостности представления.
|
Синхронная запись звука и синхронизация губ
Выберите персонаж.
Перейдите в раздел Plugins >> Motion LIVE 2D >> Motion LIVE 2D.
Подключитесь к устройству захвата лица на панели Motion LIVE 2D. Для получения дополнительной информации о соединении камеры, пожалуйста, обратитесь к разделу
Первое знакомство с Motion LIVE 2D
Флажок Record Audio « Запись звука» активирован по умолчанию при обнаружении аудиовхода. Вы можете выбрать подходящий микрофон для захвата звука из выпадающего списка.
Активируйте флажок Lip Sync для распознавания движения ваших губ в режиме реального времени.
|
Примечание:
В раскрывающемся списке Lip Sync вы можете выбрать режим Real-time (реальное время) или Post-process (пост-процесс ).
Независимо от того, что вы выбрали, в режиме реального времени или после обработки , изменение скорости губ будет одинаковой в режиме предварительного просмотра в реальном времени. Единственное отличие состоит в том , что lip visemes отслеживается в Timeline по разному.
|
Real-time
|
Post-process
|
|
Новое упрощенное решение для синхронизации губ для создания форм губ, пользователи могут контролировать чувствительность и изменения формы губ в реальном времени для прямой трансляции.
Большое количество ключей висемы, сгенерированных в треке Lips .
|
Традиционный метод синхронизации губ по звуку для создания более точных форм губ, пользователи могут выполнять дальнейшее редактирование для постпроизводства.
Меньше количество ключей, но более точное расположение ключей висем, сгенерированных в треке Lips .
|
|
Говорите, пока вы производите запись изменяется выражения лица .
Воспроизведите проект, для того чтобы посмотреть результат выражения лица и синхронизацию губ
Чувствительность губ в реальном времени
Вы можете настроить скорость изменения формы губ, перетаскивая ползунок Sensitivity « Чувствительность» при выборе Real-time « Реальное время» в раскрывающемся списке Lip Sync « Синхронизация губ» . По умолчанию слайдер отключен, но если вы выберите, то все равно увидите один и тот же результат в режиме просмотра реального времени.
Чем выше значение чувствительности , тем быстрее меняется форма губ, а на дорожке губ будет создаваться больше ключей висем .
|
|
|
|
|
|
|
Чувствительность = 2
Форма губ меняются медленнее, а на дорожке губ добавляется меньше висемовых ключей .
|
Чувствительность = 4
Форма губ меняется быстрее, а на дорожке губ появляется больше висем-ключей .
|
Два варианта захвата Lip-синхронизации
Существует два варианта захвата синхронизации губ в режиме реального времени: визуально (Lip-sync OFF) и From Audio (Lip-sync ON).
Визуально (Lip-Sync OFF)
Настройки по умолчанию для записи звука и захвата рта с помощью веб-камеры Face3D Tracker на основе визуальных эффектов.
Поскольку Face3D Tracker создает визуальные эффекты рта, вместо создания висем из звуков, захваченные движения лица будут записываться только в дорожку клипа для лица.
Из аудио (Lip-Sync ON)
Для использования аудиовхода включите функцию Lip Sync, который четко и точно говорит в микрофон, чтобы позволить Motion LIVE 2D обнаруживать звук и генерировать синхронизацию губ viseme на основе звука.
В этом варианте запись движения губ записывается не только на дорожку
Voice, но и создает viseme на дорожке Lips где можно осуществить редактирование и исправить неправильную
артикуляцию губ персонажа.
|
Примечание:
В текущей версии Motion LIVE 2D , если вы не издаете звук при включенной функции Lip Sync , может вообще не быть анимации рта.
|
Уточнение и редактирование
В Cartoon Animator откройте панель Timeline и нажмите кнопку Face и вы увидите записанные данные в соответствующих дорожках. Вы можете найти данные сохраненные на дорожке Facial Clip (A), а также на дорожке Voice (B) и Lips (C) записанный звук и viseme отвечающую за артикуляцию губ персонажа.
Установите курсор на любой нужный кадр и услышите звук. Если клавиши синхронизации губ плохо не соответствует и вы хотите изменить ключи висемы, выполните следующие действия:
Дважды щелкните по ключу висемы на дорожке Lips.
В открытом окне Lips Editor замените висем для синхронизации губ на другой.
Если функция рта персонажа G3 360 или G3 преобразована в Smooth Mode, вы можете перетащить ползунок Expressiveness (Выразительность) выбранного висема и увеличить или уменьшить силу открывания рта.
|
|
|
|
Оригинальная висема: WOO
|
Модифицированная висема: Oh
|
Повторное использование захваченных Lip-синхронизаций для разных персонажей.
После завершения записи Lip-Sync вы можете сохранять и экспортировать голосовой клип в Cartoon Animator , а затем применять его к другим персонажам.
Откройте панель Timeline (F3) и нажмите кнопку Face и найти записанные аудиоданные, хранящиеся в основной дорожке Voice Clip .
Убедитесь, что был выбран нужный персонаж или голосовой клип. Перейдите в Content Manager >> Animation >> Папка Face и нажмите кнопку Add и сохраните клип в формате * .ctFCS на вкладке Custom.
Теперь если вы хотите, чтобы выбранный любой персонаж повторил действия которые вы предварительно сохранили. перетащите сохраненный файл на персонаж.
