Компания «Кино ИИ» занимается переводом кино с помощью нейросетей.
Компания находится на сопровождении Фонда развития инноваций Краснодарского края и при поддержке специалистов Фонда в этом году получили грант по программе «Старт – ЦТ» в размере 5 млн рублей на разработку инновационной платформы для автоматизированного производства и локализации аудиовизуального контента, способной трансформировать речь с сохранением эмоциональной окраски и голосовой идентичности оригинальных спикеров.
Идея, медленно вызревавшая годами, пережила свой первый неудачный запуск четыре года назад. Тогда, столкнувшись с трудностями и рыночными реалиями, команда вынуждена была отступить. Однако именно этот опыт, тщательно разобранные ошибки и отброшенные иллюзии легли в основу нового подхода. Теперь они построили не быстрый хит, а продуманный, качественный и полностью автоматизированный продукт.
Принцип работы платформы, кажущийся простым в формулировке, требует сложнейшей инженерной реализации: пользователь загружает видео, а система выдает полностью дублированный и локализованный материал, не требующий человеческого вмешательства. Сердце платформы — бесшовная интеграция множества модулей: от преобразования речи в текст (STT) и анализа эмоций до автоматического перевода, реалистичного воссоздания голосов с учётом индивидуальных интонаций и идеальной синхронизации артикуляции губ со звуковым рядом.
Технологически команда опирается на открытые нейросети и программы с открытым исходным кодом. Ключевой потенциал проекта раскрывается благодаря способности адаптивно обучать модели под индивидуальные требования и голоса. Качество ставится выше скорости обработки в режиме реального времени, ведь точное воспроизведение особенностей тембра, ритма и эмоциональной окраски речи требует скрупулёзной работы. Интонационные характеристики разных языковых групп значительно усложняют задачу сохранения идентичности голоса при переводе. Специалисты компании постоянно улучшают технологию, добиваясь максимальной точности передачи оригинального звучания и устраняя любые несоответствия.
Проект привлекателен коммерчески, так как автоматизирует процесс озвучивания фильмов (особенно для документального кино), подкастов и презентаций, сохраняя авторский замысел, живость и выразительность речи. Новая платформа позволяет снизить затраты на перевод почти вдвое и резко повысить производительность. Если раньше студии могли перевести около 7–10 фильмов в месяц, теперь, с использованием данного проекта, этот показатель увеличивается многократно. Это расширяет бизнес-возможности и делает переводы доступными для множества новых проектов.
Фонд развития инноваций Краснодарского края оказывает поддержку инноваторам в рамках реализации национального проекта "Эффективная и конкурентная экономика".