Когда ИИ начнет озвучивать сериалы
Российские издательства уже экспериментируют с машинной записью аудиокниг, в перспективе искусственному интеллекту можно будет поручить перевод сериалов и озвучку их голосами любимых актеров. Об особенностях таких технологий и сколько времени понадобится на их создание. На YouTube автоматические субтитры для роликов создает программа распознавания голоса и перевода речи в текст. В ее основе — самообучающиеся нейросети. Этой опции более десяти лет, но результат все еще далек от идеала. Чаще всего удается лишь уловить общий смысл сказанного.
Допустим, объясняет Андрей Фильченков, руководитель лаборатории "Машинное обучение" Университета ИТМО, мы строим алгоритм для распознавания речи. Для этого требуется обучить нейросеть на большом массиве данных. Понадобятся сотни, тысячи часов записей речи и правильное сопоставление их с текстами, включая разметку начала и окончания фраз, смены собеседников и так далее. Это называется корпусом. Чем он больше, тем качественнее идет обучение нейросети, Для английского языка созданы действительно большие корпуса, поэтому распознавание значительно лучше. Но для русского или, скажем, испанского данных гораздо меньше, а для многих других языков нет вообще. "И результат соответствующий", — заключает ученый.
"Кроме того, значение слова, фразы в фильме мы оцениваем не только по звуку, важны и интонация актера, его мимика. Как интерпретировать это?" — добавляет Сергей Аксенов, доцент отделения информационных технологий Томского политехнического университета. "Как обработать особенности беглой речи? Нечеткую артикуляцию, отрывочность, междометия, паузы? Ведь в зависимости от этого меняется смысл, как в "казнить нельзя помиловать". Как научить машину определять, где у говорящего запятая? А в стихах?" — перечисляет Марина Болсуновская, заведующая лабораторией "Промышленные системы потоковой обработки данных" Центра НТИ СПбПУ.
Самые успешные проекты, по мнению эксперта, — в узких областях. Например — система распознавания профессиональной речи врачей с использованием медицинских терминов, разработанная группой компаний ЦРТ, помогающая докторам вести историю болезни. "Здесь можно четко очертить предметную область и выделить в речи ключевые слова. Врач специально подчеркивает интонацией определенные разделы: жалобы пациента, диагноз", — уточняет Болсуновская.
На еще одну проблему указывает Михаил Бурцев, заведующий лабораторией нейронных систем и глубокого обучения МФТИ. Дело в том, что пока машина успешнее распознает текст, когда говорит один человек, нежели несколько, как в кинофильмах. Возьмем какой-нибудь англоязычный ролик, например нарезку из сериала "Игра престолов", и включим автоматические русские субтитры. То, что мы увидим, скорее всего, нас рассмешит. Хотя в машинном переводе технологии достигли впечатляющих успехов. Так, Google Translate переводит тексты на распространенных языках вполне сносно, часто требуется лишь минимальная правка.
Дело в том, что нейросеть-переводчик также обучается на большом массиве исходных, правильно размеченных данных — параллельном корпусе, где показано, как каждая фраза на языке оригинала должна выглядеть по-русски.
"Строить такие корпусы очень трудоемко, дорого и долго, уходят месяцы, годы. Чтобы натренировать нейросеть, нужны тексты объемом с Александрийскую библиотеку. Модели универсальные, но многое зависит от языка. Если предоставить много данных, например на аварском, и перевод выдадут качественный, но для аварского просто нет такого объема данных", — говорит Андрей Фильченков.
"Перевод — это отдельный продукт, который связан с оригиналом, но не равен ему, — отмечает Илья Мирин, директор Школы цифровой экономики Дальневосточного федерального университета. — Характерный пример — переводы Дмитрия Пучкова (Гоблина) зарубежных фильмов в 90-е. Только после его работы стало понятно, что там происходит. Из VHS-версий мы не могли узнать ничего адекватного. Как вариант, попробуйте перевести на язык, который хорошо знаете, что-то из "Мастера и Маргариты". Например, "в черном плаще с кровавым подбоем". Машина этого не сумеет".
Нейросети хорошо обучаются на множестве типовых примеров, но фильмы полны сложных смыслов и коннотаций, шуток, машине не доступных — она не может их различить. "В каждой серии мультсериала Futurama есть отсылка к классическому американскому кинематографу — "Касабланке", "Римским каникулам" и так далее. В такие моменты переводчику, чтобы поймать и переупаковать смысл для тех, кто этих фильмов не смотрел, нужно придумать близкий аналог из российского контекста. Неправильный машинный перевод может сильно обескуражить зрителя", — продолжает Мирин.
По его мнению, качество машинного перевода близко к 80 процентам, остальное — специфика, которую надо добавлять вручную, привлекая экспертов. "А если 20-30 процентов фраз требуют ручной коррекции, то в чем польза машинного перевода?" — рассуждает исследователь. "Перевод — самый проблемный этап, — соглашается Сергей Аксенов. — Все упирается в семантику и контекст. Имеющиеся инструменты вполне можно использовать для перевода и машинной озвучки, например, детских мультиков с простой лексикой. Но вот с интерпретацией фразеологизмов, имен собственных, слов, отсылающих зрителей к каким-то культурным реалиям, возникают сложности".
В фильмах и видеороликах контекст всегда визуальный и нередко сопровождается музыкой, шумами. Мы по картинке домысливаем, о чем говорит герой. Речь, обращенная в текст, лишена этой информации, поэтому перевод затруднен. В такой ситуации оказываются переводчики, работающие с текстовыми субтитрами, не видя фильма. Они часто ошибаются. С машинным переводом та же история. Чтобы озвучить сериал, переведенный на русский, понадобится алгоритм генерации естественной речи по тексту — синтезатор. Их создают многие IT-компании, в том числе Microsoft, Amazon, Yandex, и получается у них неплохо.
По словам Андрея Фильченкова, пару лет назад минута озвучивания синтезатором речи занимала несколько часов, сейчас скорость обработки сильно выросла. Задача синтеза речи для некоторых областей, где требуются нейтральные диалоги, решается довольно хорошо. Многие уже принимают как данность разговор с роботом по телефону, выполнение команд автомобильного навигатора, диалог с Алисой в машине "Яндекс.Драйв". Но для озвучивания сериалов эти технологии пока недотягивают.
"Проблема в эмоциях и актерской игре. Мы научились делать машинный голос человеческим, но чтобы он еще звучал уместно контексту и вызывал доверие — до этого далеко. Плохой озвучкой легко убить восприятие фильма", — полагает Фильченков. По мнению Михаила Бурцева, синтез речи вполне реален. Однако это требует больших вычислительных ресурсов и не может выполняться в реальном времени за разумные деньги. "Существуют алгоритмы, которые синтезируют речь, похожую на голос конкретного актера. Это и тембр, и манера говорить, и многое другое. Так любой иностранный актер фактически заговорит по-русски", — прогнозирует Бурцев. Он ожидает заметный прогресс в ближайшие годы.
Сергей Аксенов дает пять-десять лет на развитие инструментов для перевода и озвучки сложных произведений с самых распространенных языков вроде английского. Ученый приводит в пример Skype, который несколько лет назад продемонстрировал возможность организации онлайн-уроков для школьников, говорящих на разных языках. Но даже тогда система не будет идеальной, ей постоянно придется учиться: набирать словарный запас, учитывать культурный контекст.
Источник
Последние аномальные новости

Ведьму арестовали за неосторожное обращение с огнем

Вода сохранялась в марсианском кратере намного дольше

Вторжение яйцевидных НЛО в окрестностях Левелленда

Голубые сверхгиганты образовываются из слияния двух звезд

Домашние роботы со здравым смыслом

Есть места, куда сталкеры боятся ходить

Жизнь можно обнаружить в отдельном инопланетном зерне

Инопланетяне приглядывают за атомными станциями Индии

Как и когда можно увидеть дьявольскую комету

Люди скоро превратяться в Боргов

Миссия по сбору ресурсов с астероида Апофис

НЛО замечен над атомной станцией в Тамилнаду

Обнаружен потенциально обитаемый водный мир

Планетарный каннибализм распространен среди звезд

Половина всех менеджеров стремятся заменить работников ИИ

Полупроводниковые волокна для одежды людей

Рождение и смерть гигантских звезд

Тайна врат в Ад Иераполиса

Темная материя может образовывать звезды

Элитные коммандос обнаружили НЛО

Жители острова Пасхи посещали Южную Америку

Загадка образования первых галактик

Загадочный проект 'Синий луч' в действии

Замаскированный НЛО замечен над Португалией

Изучение экзотических звездных явлений

Космический телескоп распутал историю нашей галактики

Марсианский вертолет мог бы стать бортовым геологом

НЛО замечен над Южной Африкой

НЛО летают над атомными электростанциями Индии

Новый троянский астероид нашли на орбите Марса

Обнаружены четыре новых экзотических белых карлика

Понимание коррозии позволяет создавать новые металлы

Сверхмассивная черная дыра не оправдывает ожиданий

Секреты пояса Ван Аллена раскрыты

Стареющие коричневые карлики становятся одинокими

Таинственный свет в небе над Сан-Антонио

Темная материи поможет понять эволюцию галактик

Уфологи могут научить нас политической паранойе

Элитные коммандос захватили НЛО

Японский летчик-истребитель рассказал о НЛО

Бигфут и сасквоч - инопланетные гибриды

Выявили лучшие места в США для обнаружения НЛО

Инопланетяне дали нам план Стоунхенджа

Инопланетяне используют невероятные технологии

Культурная площадь в Розуэлле примет уфо-фестиваль

НЛО вблизи ядерных установок ставят экспертов в тупик

НЛО замечен над поверхностью Луны

Оборона землян будет быстро подавлена инопланетянами

Общественный колледж Портленда предлагает курс по НЛО

Одна из дюжины звезд поедает свои планеты

Официальные лица США ничего не знают о НЛО

Планетологи пытаются оценить толщину льда на Европе

Поиски обломков рейса MH370 дали новую надежду

Пришло время изучить лунные лавовые трубки

Самые паранормальные места в Нью–Йорке

Строительные блоки жизни стабильны в условиях Венеры

Уинстон Черчилль скрывал информацию об НЛО

Уфологи устремились на юг Франции

Фестиваль НЛО пройдет в апреле в Эдинбурге

Шведский архив регистрирует паранормальные явления

Автокресло

Влияние накрутки реакций в Telegram на контентную стратегию. Анализ и рекомендации

Астрофизики дадут подсказку в поисках темной материи

Более 1500 наблюдений НЛО над Великобританией за 4 года

Британский взгляд на внешность инопланетян

В Великобритании замечено почти 2000 наблюдений НЛО

ИИ ChatGPT является очень эффективным инструментом

Как были сделаны татуировки ледяного человека Эци

Как, по мнению британцев, выглядят инопланетяне

Китай может начать атаку на США с Луны

Китай строит ядерный космический двигатель

Люди изменили свои суждения под воздействием ИИ

Наблюдения НЛО в районе Тиссайда

Наблюдения НЛО над Ноттингемширом за последние три года

Намеки на третью планету системе PDS 70

Начались продажи электрических летающих такси

Нашли одну из древнейших звезд

Один астероид создал более 2 млрд вторичных кратеров

Пентагон усердно скрывает информацию об НЛО

Плавающие кристаллы замедляют старение звезд

Планетарная геофизика поможет в поиске инопланетян

Последние наблюдения НЛО в Лестершире

Почему миллиардеры по всему миру строят бункеры

Рентген показал каменного младенца внутри женщины

Робот, который выполнил сальто назад без гидравлики

Сбитый с толку астроном заметил НЛО над Луной

Следующий имплант Neuralink подарит зрение слепым

Собираются создать лунную железную дорогу

Создали импульсный двигатель на водяном топливе

У людей с гаванским синдромом не выявили повреждений мозга

Флотилия НЛО замечена над горой Шаста

Эра ИИ наступит быстрее, чем мы думали

Анализ может привести к изменению парадигмы о НЛО

Более 1500 наблюдений НЛО над Англией за 4 года

В Башкирии заметили падение с неба светящегося шара

Вампиршу XVI века похоронили с кирпичом в зубах

Детей из Зимбабве мучает полтергейст

Екатеринбуржцы увидели НЛО в облаках над городом

Жительница Эдинбурга заметила дискообразный НЛО

Загадка Безумного камня

Йог 22 года медитирует на жутком холоде

Как мы будем с ними разговаривать с инопланетянами

Легендарная подземная школа чернокнижников

Мы увидим полностью созданные ИИ игры через 5-10 лет

Наблюдения НЛО в Англии с 2020 года

Наблюдения НЛО над Мерсисайдом

Наркомана убила статуя Будды

НАСА обнаружит жизнь на Европе к 2030 году

Нечто с длинной шеей попал на камеру наблюдения

НЛО пролетает над поверхностью Луны

НЛО сбили в бразильском городе Пау Гранде

Новые изображения дьявольской кометы

Новые необычные наблюдения НЛО в районе Ковентри

ООН приняла эпохальную резолюцию по ИИ

Полемика вокруг загадочных сферул не утихает

Процедуры отчетности о НЛО и утилизации материалов

Рост числа государственных служащих-роботов

Самые реалистичные сценарии Апокалипсиса

Ужасающее заболевание - синдром лица демона

Что предсказал Нострадамус России

Штаты США, где вы будете похищены инопланетянами

Эволюция мозговых чипов

Бетти Андреассон провела у пришельцев несколько часов

Где в США лучшее место, чтобы увидеть НЛО

Загадочный космонавт Солуэй Ферт

Интерактивная карта НЛО в Великобритании

Истинно верующие атаковали бывшего главу AARO

Историческая уфологическая хроника

Лучшее место для встречи с инопланетянами

Не ждите правды от правительства США о НЛО

Несколько НЛО были замечены над Орегоном

Нефтянник заметил НЛО в форме тарелки

НЛО заметили в штате Миннесота

НЛО над фермой в Орегоне

НЛО украл шесть дней из жизни Трэвиса Уолтона

Офицер полиции Лонни Замора заметил НЛО

Парень заметиил НЛО прежде чем они растворились

Первая трансплантация ГМ-почки свиньи пациенту

Похищение Бетти и Барни Хилл одно из самых странных

Сексуальные эксперименты инопланетян над землянами

Тайна наблюдений НЛО вблизи ядерных объектов

Уфологи терроризируют бывшего директора AARO

Азиатская Зона 51 проводит фестиваль

Астероид изменил форму после удара зонда землян

Вы когда-нибудь сталкивались с инопланетянами в Айдахо

Изменяющий форму НЛО замечен над Бирмингемом

ИИ комментирует теории заговора о Кеннеди

ИИ может заменить умерших близких людей

ИИ становится волком с Уолл-стрит

Масштабная уфо-конференция все ближе

Модель Эбби Клэнси боится инопланетян

Нашли лучшее место для наблюдений НЛО в США

НЛО в форме тарелки парил над нефтяной вышкой

Одержимая женщина помочилась черным

Пациент Neuralink с параличом конечностей играет в шахматы

Похищение в Паскагуле покажут на Netflix

Почему так много людей все еще верят в НЛО

Сверхпроводимости при комнатной температуре не существует

Уфологи собрались у офиса Чака Шумера в Нью-Йорке

Уфологи устремились в тихий город Лимож

Уфологическая неделя на британском ТВ

Я вырос, мучимый злыми демонами, теперь я экзорцист

Быстрые займы онлайн

Аватар никогда не будет лгать или будет

Адмирал ВМС видел секретные файлы об НЛО

Водород обеспечивал энергию при зарождении жизни

Высокоскоростная камера зафиксировала полет НЛО

Добровольцы обнаружили 15 редких активных астероидов

Инопланетяне более чем реальны

Как Земля остается пригодной для жизни

Может ли земная жизнь выжить у красного карлика

Наблюдения НЛО в Арканзасе

Нам следует изучать на неопознанные подводные объекты

Нейтринный фон мог бы многое рассказать нам о Вселенной

Нехватка воды приводит к образованию кругов фей

НЛО замечен над Лас-Вегасом и горой Спирит

Оператор нефтяной вышки заметил НЛО

Опубликована карта активных черных дыр

Песчаные дюны Титана состоят из разбитых маленьких лун

Сколько времени потребуется, чтобы обойти Марс

Таинственные звери Японии. Жуткие ползающие твари

Тайна сознания. Чего может достичь наука

Уфо-конференция стоимостью 160 фунтов за билет

Британский спецназ обнаружил сбитый НЛО

Воспроизвели самую раннюю форму жизни в лаборатории

Где замечали рейс MH370 на картах Google

Подписка на новости
Наверх
Яндекс.Метрика