Ошибка в приоритетах безопасности: Waymo ограничила движение своих беспилотников на автомагистралях

Американская компания Waymo объявила о масштабном отзыве своего парка роботакси. Причиной стали систематические ошибки искусственного интеллекта, который оказался неспособен корректно распознавать зоны проведения дорожных работ на скоростных автомагистралях.

Детали

Под сервисную кампанию попали 3 871 автомобиль. Все они оснащены автоматизированной системой управления (ADS) пятого поколения. Пока специалисты ищут выход из ситуации, работу беспилотников на автомагистралях будет строго ограничено. Отзыв не распространяется на те транспортные средства компании, которые вообще не предназначены для автономного движения по скоростным трассам.

• Впервые в истории: автопилот самостоятельно посадил самолет во время реальной чрезвычайной ситуации

Проблема приобрела системный характер весной этого года, когда было зафиксировано более десятка опасных случаев в разных регионах США.

• Апрель: Зафиксировано 6 случаев, когда роботизированные машины игнорировали знаки о закрытии съездов и выезжали непосредственно на строительные площадки автомагистралей. Тогда Комитет по безопасности Waymo впервые ввел частичные ограничения на трассах.
• Май: Произошло еще 7 инцидентов. Роботакси маневрировали прямо между конусами, которые отделяли закрытые полосы движения.

Согласно официальному отчету по безопасности дорожного движения, система ADS работала некорректно из-за сбоя в приоритетах. Искусственный интеллект пытался избегать других гипотетических опасностей на дороге и из-за этого либо полностью игнорировал строительные зоны, либо неправильно оценивал их угрозу.

После повторения майских инцидентов компания ужесточила запрет на движение по автомагистралям, а уже 8 июня Совет по безопасности Waymo принял окончательное решение об официальном отзыве продуктов для обновления программного обеспечения.

Новый отзыв беспилотников Waymo произошёл всего через месяц после предыдущего сервисного обновления, связанного с уязвимостью системы перед наводнениями. Как отмечали представители компании в отчете для Национального управления по безопасности дорожного движения (NHTSA), из-за программного сбоя автомобили могли резко тормозить на скоростных трассах, а затем выезжать прямо в стоячую воду.

Такое поведение ИИ на затопленных участках угрожало потерей контроля над транспортом и создавало высокий риск аварий. Проблему наглядно подтвердил инцидент 20 апреля в техасском Сан-Антонио, где пассажиры сняли на видео роботакси, заехавшее в глубокую лужу и застрявшее.

В прошлом году в Калифорнии полиция Сан-Бруно остановила беспилотник Waymo за незаконный разворот, однако патрульные так и не смогли выписать штраф, поскольку в салоне не было водителя. Как оказалось, законодательство США просто не имеет механизмов для наказания автономных машин или их операторов за подобные нарушения ПДД. Тем не менее, полностью избежать финансовой ответственности роботакси не удается: например, в 2024 году компания Waymo была вынуждена выплатить $65 065 штрафов только за неправильную парковку своих автомобилей в Сан-Франциско.