Фахівці навчили технологію малювати за допомогою декількох мільйонів відео.
Група американських розробників представила нейронн мережу Speech2Face, здатну намалювати портрет людини по його голосу. Про це повідомило arXiv.org.
Моделі під силу намалювати зображення, взявши за основу підлогу, расу, вік. Розробкою займався колектив з Массачусетського технологічного інституту, у складі якого був Тахьон О.
Читайте також: Вчені розповіли, як роботи колонізують Місяць
Вчені вирішили використовувати для навчання нейромережі датасета AVSpeech. Він містить близько мільйона коротких відео більше сотні тисяч різних людей. При цьому відео- та аудіо розділені.
Точність роботи технології творці визначили відповідно до трьох демографічними показниками. Порівняно піддали підлогу, орієнтовний вік і расу людей з оригінальних роликів та «висновок», зроблений нейромережею.
Також були виявлені недоліки моделі. Вона не завжди в змозі визначити вік з точністю до десяти років, а найкраще зображує європеоїдів і азіатів. Вважається, що остання проблема пов'язана з нерівномірністю присутності різних рас у вибірці для навчання.
За словами дослідників, в їхні плани не входило доскональне копіювання зовнішності людини. Вони прагнули до точної ідентифікації статі, віку, етносу.
На фото: оригінальні зображення, відновлені і «намальовані» по голосу.
Читайте також: Китайці планують створити робота-гумориста
Новини
Зеленський закликав українців економити електроенергію
23:15 17 тра 2024.
У ОП назвали, що вважатимуть переможним результатом саміту миру
22:55 17 тра 2024.
Путін відмовився від «олімпійського перемир'я»
22:30 17 тра 2024.
Зеленський прокоментував наступ окупантів на Харківщині
22:15 17 тра 2024.
Кабмін провів кадрові чистки
21:55 17 тра 2024.
Автор "Хрещеного батька" розкрив секрет сьогоднішнього Голлівуду
21:30 17 тра 2024.
На вихідні буде тепло, але дощитиме
21:15 17 тра 2024.
ЄС не відкидає присутності західних інструкторів на території України
20:50 17 тра 2024.
В "Укренерго" розповіли про електропостачання у вихідні
20:30 17 тра 2024.
Пол Маккартні нарешті заробив свій мільярд
20:15 17 тра 2024.
Смертельна ДТП сталася у Києві
19:55 17 тра 2024.