замена лиц

Простите меня, я не удержалась

Сначала я хотела сделать версию с одной актрисой из сериальчиков, запускала обучение на несколько дней.

Но потом я опомнилась и заменила её на сами знаете кого.

Получилось довольно плохо. Нейросеть обучалась всего лишь несколько часов, а терпения у меня не было.

P.S. Для любителей жести в комментах гифка.

Инструкция: Как запустить нейросеть меняющий лица актрис на видео.

"Если у вас windows 10 64x, 16gb ОЗУ, 1050ti, i7 7700. То запустится 100% без проблем.

*Для начала скачиваем и устанавливаем CUDA 8.0

https://developer.nvidia.com/cuda-80-ga2-download-archive

Установка стандартная, после перезагружаем. Патчить ничего не надо.

*Скачиваем саму программу:

https://drive.google.com/file/d/1_D6JIZsv4JdIqydhfpXCP63HzlvnqCt6/view

*Скачиваем ffmpeg

https://ffmpeg.zeranoe.com/builds/

*ВАЖНО! ПОВТОРЯЕМ В ТОЧЬ ТОЧЬ!!!

Распаковываем FakeApp.zip в корень диск С. А так-же в корне диска С создаем папку fakes, внутри создаем папки data, data_A, data_B.

ffmpeg, распаковываем в папку FakeApp.

Получаем такую картину:

*Этап подготовки видео.

Скачиваем любое видео например с Хлое Морец и теперь нужно на любом видеоредакторе нарезать участки видео с её лицом и склеить в один видеофайл.

Сохраняем нарезанное видео в качестве 720p в папку C:\fakes\data_A называем её 1.mp4

Запускаем командную строку,пишем:

C:\FakeApp\ffmpeg\bin\ffmpeg.exe -i C:\fakes\data_A\1.mp4 -vf fps=25 "C:\fakes\data_A\out%d.png"

В папке C:\fakes\data_A видим как появляются картинки, ждем завершения процесса.

Запускаем fakeapp.bat в папке C:\FakeApp

Выбираем Align, поле Data указываем C:\fakes\data_A

Жмем Start. ЖДЕМ ПОЛНОГО ЗАВЕРШЕНИЯ!

В папке C:\fakes\data_A появится папка aligned где все упорядочены её лица.

*ЭТАП НОМЕР ДВА

Находим видео для друга и повторяем весь процесс, только вместо data_A указываем data_B.

Главное видео для друга должно быть одно лицо, если лиц в кадре несколько, программа будет менять их все.

После того как в папке data_A и data_B появилась папка aligned с упорядоченными лицами переходим к тренировке. Этот процесс жопаболь, ибо уходит очень много времени для тренировки нейросети.

Переходим на вкладку Train

В поле Data A указываем путь  C:\fakes\data_A\aligned

В поле Data B указываем путь C:\fakes\data_B\aligned

Жмем Start и ждем. Ждем. Ждеееееем. Наблюдаем как постепенно нейросеть учится и качество фото улучшается.

Если надоело ждать или качество вас устраивает, нажимаем клавишу Q, программа сохранит "весы" связей и можно будет в дальнейшем продолжить расчеты, ничего не теряется.

Результат работы за 4 часа обучения:

Лицо выглядит пока что вот так:

Что радует, лицо идеально стыкуется с этой актрисой. Главное терпение!

Сшиваем готовое видео

Склеивать готовое видео не долго, по времени уходит максимум 1 час. 

Отключаем обучение нажав на клавишу Q, переходим во вкладку Merge.

В пункте Data указываем C:\fakes\data_B\aligned

В пункте Direction указываем BtoA ( что на что меняем)

Нажимаем Start. В папке C:\fakes\data_B появится папка merged с изображениями где лица заменены. Теперь нужно картинки превратить в видеозапись. Есть два способа

*Способ 1й

Пример команды:

ffmpeg -i папка/название_секвенции_%05d.jpg -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Склеит секвенцию из папки "папка" с кадрами названия "название_секвенции_00001.jpg", т.е с пятью цифрами. Если хочется добавить звуковую дорожку, то следует дописать вот так:

ffmpeg -i папка/название_секвенции_%05d.jpg -i название_дорожки.wav -r [FPS, например 25] -c:v libx264 -q:v 2 output.mp4

Расширение картинок может быть любым, а не только jpg, тоже самое со звуком.

Вытащить дорожу из видео можно с помощью того же ffmpeg'a

ffmpeg -i название_видео.mp4 -b:a 320k выходная_дорожка.mp3

Получим mp3шку с 320к битрейтом

*Способ 2й.

Запускаем Adobe After Effects.

Файл - Импорт - Файл...

Переходим в папку C:\fakes\data_B\merged

Выделяем все фотки из папки merged. Ставим галку "Эпизод PNG"

Жмем Импорт.

В раскадровке появится видео. Накладываем звук, экспортируем, все готово.

Если в merge вылазит ошибка. Проверьте, не удалили файл alignments.json? Вот так должна выглядеть папка C:\fakes\data_B :

Примечание:

Форма черепа и лица должна быть максимально похожей. Без очков.

Можно сшивать мужские лица, главное следить за растительностью на лице, иначе сильно выделяется. "

Testing with Daisy Ridley / First test video автор nuttynutter6969

Я играл с новым GUI от deepfakeapp, и это результаты моего первого полного тестового видео.

Это единственные части, которые выглядели нормально:

https://gfycat.com/IdleLankyIcterinewarbler

https://gfycat.com/SoftFelineAmericancurl

https://gfycat.com/FlashyAggressiveGermanwirehairedpointer

https://gfycat.com/KindheartedSpeedyAxolotl

Если вам нужны остальные части видео, чтобы увидеть все его проблемы, оно находится здесь -> https://sendvid.com/cxulmetg. Будьте осторожны, большинство из фрагментов из них несмотрибельно.

Извлеченные уроки:

1- Нужно добавлять фотографии с высоким разрешением для учебных данных, я думаю, это поможет в устранении сильных размытий в видео.

2- В этом видео было, к сожалению, картина с лицом за моделью в нескольких сценах, это не очень хорошо сочеталось с распознаванием лица, и ИИ запутался, так как он узнавал лицо в картине на стене.

3. Нужно избегать сцен, где угол обзора модели плох по сравнению с учебными данными, например, когда она на коленях между 1:23 и 04:04 в видео

Помимо этого, когда данные были правильными, и все собиралось хорошо, как в первых трех ссылках, эта новая технология просто потрясающая.

Я сделаю еще несколько тестовых видео и попытаюсь улучшить свой рабочий процесс. Если у кого-нибудь есть советы о том, как бороться с проблемой № 2, дайте мне знать.

Благодарю deepfakes и deepfakeapp за их удивительный вклад!

"mengohmengohmeng

Отличная работа!

Интересуюсь, каковы спецификации вашего компьютера? И как долго вы тренировались? Также, сколько фотографий / видеороликов вы собрали из Daisy? С нетерпением ждем, что вы будете работать дальше.

nuttynutter6969

Мой компьютер i5 7600k Kaby Lake с видеокартой GTX 1080 и 16 ГБ памяти. Я получил около 7500 фотографий ( скаченных кадров ) Daisy из разных интервью YouTube. Я почти уверен, что это перебор, но это было легко и довольно просто, так почему бы и нет. Я уверен, что мне нужно обрезать и скачать качественные снимки из других источников, чтобы улучшить результаты. Что касается девочки из порно, я просто вырезал кадры из реального порно клипа, их было около 3000.

Нейросеть обучалась около 18 часов."

Что-то пошло не так