Специалисты Facebook разработали датасет персонажей, ускоряющий обучение диалоговых нейросетей

Разработчики из Facebook попробовали решить одну из важных задач программистов — наличие подходящего набора данных для обучения ИИ. Известно, что этот набор определяет точность и производительность разрабатываемого ПО.

Исследователями была разработана подборка учебных данных, которая делает эффективнее обучение алгоритмов, чья специализация — общение с живыми людьми. Датасет содержит 5 000 000 персонажей и 700 000 000 диалогов.

В основу набора данных легла подборка PERSONA-CHAT, которая была разработана сотрудниками "Фэйсбук" совместно с экспертами Монреальского института алгоритмов обучения. Сообщается, что базовый датасет включал в себя всего 1 000 личностей, то есть объем данных вырос сразу на три порядка. Есть и еще одно значимое отличие — контент "исходника" создавался искусственно, а новый набор создан на основе диалогов пользователей Reddit.

Сообщается, что диалоговый ИИ, обученный на новом датасете, способен общаться более интересно, в отличие от нейросетей, у которых не было доступа к этой базе. Кроме того, алгоритмы быстрее обучаются на основе персонажей.

Читайте далее

Python Software Foundation презентовала новый каталог пакетов PyPI и пакетный менеджер Pip 10 без поддержки Python 2,6

Интернет 5G впервые в мире стал доступен пользователям

Google будет аннулировать AdWords-аккаунты, которые не тратятся на рекламу дольше 15 месяцев

Новости сервисов Yandex