Этот текст является переводом официальной версии пресс-релиза с английского языка и приведен исключительно для вашего удобства. В случае каких-либо несоответствий оригинальная версия на английском языке имеет приоритетное значение.

ПРЕСС-РЕЛИЗ № 3365 ДЛЯ НЕМЕДЛЕННОГО РАСПРОСТРАНЕНИЯ

ТОКИО, 22 июля 2020 г. - Корпорация Mitsubishi Electric (TOKYO: 6503) объявила о разработке первой в мире технологии естественно-интуитивного взаимодействия¹ автомобилей с человеком, основанной на способности воспринимать происходящее в окружающей среде и переводить мультимодальную сенсорную информацию на доступный язык. Разработка включает в себя запатентованную Mitsubishi Electric технологию компактного искусственного интеллекта Maisart^®*, который помогает анализировать и преобразовывать мультимодальную сенсорную информацию для реализации интуитивного взаимодействия с людьми посредством голосовых сообщений.

1. * Mitsubishi Electric создает ИИ, отвечающий самым современным требованиям (State-of-the- ART)

Технология позволяет распознавать объекты и происходящее на основе с полученных с мультимодальных датчиков данных: фото и видео с камер, звуковой информации с микрофонов и геопозиции, которая определяется через лидар. Чтобы установить приоритетность категорий информации, Mitsubishi Electric разработала технологию Attentional Multimodal Fusion (мультимодальный синтез информации на основе ИИ), которая способна автоматически оценивать значимость данных для создания высокоточного описания действий. Во время финального тестирования технология мультимодального синтеза анализировала аудио- и видеоинформацию для описания изображения на основе консенсуса (CIDEr)². Данный способ распознавания признан на 29% эффективнее, чем в случае использования только визуальной информации. Технология, разработанная компанией Mitsubishi Electric, представляет собой мощную кросс-функциональную систему для понятного взаимодействия автомобиля с пользователем в разных ситуациях.

1. 1.Эволюция в области взаимодействия с компьютером через естественные для человека способы и интерфейсы
2. 2.Consensus-Based Image Description Evaluation — в любом алгоритме, который что-то распознаёт, будь то музыка, картинка, видео или содержимое изображений, в основе всего этого лежит алгоритм работы нейросетей. Работа нейросети устроена примерно так, как работают нейроны головного мозга человека. Простейшая модель нейрона в нейросети это перцептрон. Представим ситуацию, когда перед нейросетью есть какие-то входные данные, в данном случае, изображение, на котором есть, например, кошка. По всем входящим данным нейросеть сначала научилась распознавать объекты — кошку или собаку, — делить изображение по цветам, отдельно распознавать уши, усы и так далее. Задача каждого перцептрона получить на входе всю эту информацию, обработать её и выдать результат с определённой степенью уверенности. Например, один перцептрон решил, что с вероятностью в 75% на изображении кошка. Другой перцептрон решил, что с вероятностью 90% на изображении кошка. А третий решил, что с вероятностью 99,9% это собака. Устанавливается определённый порог доверия (%), который следует рассматривать в качестве минимального (бенчмарк), т.е. когда мы доверяем нейросети, которая говорит, что на 95% это кошка. Только голоса перцептронов с высокой степенью уверенности участвуют в финальном голосовании нейросети: чем больше перцептронов сказало, что с вероятностью от 95% это кошка, тем выше вероятность финального решения нейросети, что это кошка. Соответственно, консенсус в данном случае означает общее мнение проголосовавших перцептронов о том, что это кошка. В ситуации, когда что-то распознаётся на видео, под каждый объект тренируется нейросеть, чтобы она умела распознавать машины, людей и т.д. На определённом уровне консенсуса достигается общее согласие, и нейросеть делает вывод. А задача человека, который программирует эту нейросеть, определить, на какой уровень доверия (%) поставить нейросеть и что считать достоверным ответом.

Законченное решение — технология осознанного взаимодействия с внешней средой — предоставит водителям расширенные рекомендации по маршруту. Например, вместо того, чтобы инструктировать водителя «поверните направо через 50 метров», система предоставит более детальное ориентирование на местности: «поверните направо перед почтовым ящиком» или «следуйте за серой машиной, поворачивающей направо». Кроме того, система будет генерировать голосовые предупреждения, такие как «осторожно, пешеход переходит улицу», когда для близлежащих объектов будет спрогнозировано пересечение с траекторией автомобиля. Для достижения подобной функциональности система анализирует окружающую среду, выявляет визуальные ориентиры, движущиеся предметы и людей, а затем использует технологию распознавания объектов и происходящего для создания понятных инструкций.

Последние достижения в области предиктивной диагностики распознавания объектов, описания видео, генерации диалогов с использованием нейронных сетей позволяют машинам эффективнее взаимодействовать с людьми. Легко предположить, что данная технология будущего найдет широкое применение не только в автомобильной промышленности, а именно в информационно-развлекательных системах транспортных средств, но и в системах автоматизации зданий и предприятий, где подразумевается взаимодействие с роботами-манипуляторами, в здравоохранении для решения задач, требующих соблюдения социальной дистанции, на предприятиях и в общественных местах, где обязательным условием является бесконтактная работа с оборудованием.

• Документ в формат (PDF : 1,47MB)

Вопросы

Контакты в СМИ

• Public Relations Division Mitsubishi Electric Corporation

Запросы клиентов

• Mitsubishi Electric Research Laboratories