MTS AI и Сколтех разработали ИИ-редактора ненормативной лексики в чатах

«Интернет – уникальный источник информации, не только самый большой и доступный, но и стихийно развивающийся. Контент создают сами пользователи, поэтому проблема безопасного и нетоксичного общения всегда актуальна. Споры в комментариях часто перерастают в оскорбления, пользователи "на эмоциях" выражают своё мнение в грубой форме, ведь написать и отправить текст — дело нескольких секунд. Скорость генерации контента настолько высока, что невозможно качественно фильтровать его вручную. Часто социальные сети просто блокируют оскорбительные высказывания. Наше решение позволяет не просто удалять сообщения или банить пользователей, а предлагать замену текста на более нейтральный, при этом не теряя сути сообщения», — сказала Ирина Кротова, старший разработчик в группе NLP MTS AI. 

Разработка MTS AI и Сколтеха уникальна для российского рынка, поскольку большинство подобных решений предназначены для английского языка. Для русскоязычных пользователей подобных сервисов практически нет, а разработанные ранее решения оказались неэффективными.

MTS AI и Сколтех предложили два типа моделей для создания ботов и приложений, которые убирают негативную лексику из речи. Первый подход использует языковую модель BERT, основанную на нейросетевой архитектуре Трансформер. Модель осуществляет точечное редактирование текста – находит в нем негативные слова и выражения, заменяет их на нейтральные синонимы или вовсе удаляет.

Второй подход также основан на архитектуре Трансформер, однако он решает другую задачу – условную генерацию текста по входному запросу. То есть языковая модель создает нейтральную версию токсичной фразы. Для академического соревнования в рамках конференции «Диалог», была подготовлена модель детоксификации на основе языковой модели ruT5.

«В рамках данного проекта, совместно с коллегами из МТS AI удалось создать ряд технологий для детектирования и переписывания токсичного контента. Предложенные методы и модели могут быть использованы для предотвращения репутационных рисков компании (чат-бот, обученный на текстах из сети, может ответить токсично). Возможны и другие применения. Например, до отправления комментария пользователю может быть предложена менее токсичная формулировка его сообщения. В подобном сценарии использования, свобода выражения не страдает, но количество эмоционально написанных негативных комментариев может быть значительно сокращено. В результате данного сотрудничества кроме методов, моделей и наборов данных появилось немало научных статей, опубликованных совместным коллективом исследователей, инженеров и студентов из Сколтеха и МТС, в том числе на ведущих международных конференциях в области ИИ, таких как ACL и EMNLP», — сказал Александр Панченко, PhD, старший преподаватель Сколтеха и руководитель совместной лаборатории МТС-Сколтех.