«Тинькофф» встроил своего голосового ассистента Олега в социальную аудиосоцсеть ClubHouse. Это первый случай интеграции голосового помощника и технологий синтеза и распознавания речи в этой социальной сети, заявляют в Тинькофф. Об этом «Ленте.ру» сообщили в пресс-службе группы.
Голосовой ассистент Олег будет функционировать в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий — благодаря своим навыкам распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit).
Так, Олег сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграмм-канал «Олег в Клабхаузе». Также голосовой ассистент может выступать в роли модератора комнат в ClubHouse, озвучивать вопросы спикеров, напоминать о тайминге и регламенте.
Первую трансляцию с текстовой расшифровкой Олег провел из комнаты «Тинькофф Инвестиций» 11 марта, в которой транслировался конференц-звонок топ-менеджеров группы «Тинькофф» во главе с Оливером Хьюзом с журналистами и инвесторами. Комната была посвящена обсуждению финансовых результатов и рекордной прибыли группы за 2020 год.
«Сейчас команда голосового ассистента Олега экспериментирует с разными пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям. Мы уже протестировали возможность расшифровывать аудиозвонки в текст в режиме реального времени в собственный телеграм-канал и успешно ее опробовали на примере комнаты про финансовые результаты группы «Тинькофф» за 2020 год, — говорит директор по технологиям искусственного интеллекта «Тинькофф» Павел Калайдин. — Олег может также помочь создателям комнат и модераторам дискуссий, когда e слушателей нет возможности задать вопрос голосом — например, слишком шумно или не хочется перебивать спикера. Для таких случаем мы разрабатываем интерфейс для приема вопросов через чат с Олегом в Телеграме: аудитория присылает ему вопросы, которые он зачитает с идеальным произношением и по желанию сохранит приватность автора вопроса».
Голосовой помощник Олег основан на технологиях распознавания и синтеза речи Tinkoff VoiceKit.
Технология Tinkof VoiceKit может использоваться, например, для: создания собственных голосовых помощников и роботов для автоматизации работы колл-центра, быстрой записи аудиокниг, озвучки и редактирования видеороликов, построения системы речевой аналитики по транскрибированным текстам — например, в колл-центрах для контроля работы операторов, создания приложений для людей с ограниченными возможностями, транскрибирования любых звуковых записей публичных выступлений, поисковой оптимизации и полнотекстовому поиску по аудио и видеозаписям.