07.02.2024

Как гарантировать безопасность автономных транспортных средств

По мере того как автомобили и самолеты, управляемые компьютерами, становятся все более распространенными, ключ к предотвращению несчастных случаев, по мнению исследователей, заключается в том, чтобы знать то, чего не знаешь.

Стив Нэдис

Рисунок: Senior Salma/Quanta Magazine

Беспилотные автомобили и самолеты больше не являются уделом будущего. Только в одном городе Сан-Франциско две таксомоторные компании зарегистрировали 8 миллионов миль автономного вождения до августа 2023 года. А в США зарегистрировано более 850 000 беспилотных летательных аппаратов - не считая тех, что принадлежат военным.

Но есть и обоснованные опасения по поводу безопасности. Например, за 10 месяцев, закончившихся в мае 2022 года, Национальная администрация безопасности дорожного движения сообщила о почти 400 авариях с участием автомобилей, использующих ту или иную форму автономного управления. В результате этих аварий погибли шесть человек, а пять получили серьезные травмы.

Обычный способ решения этой проблемы, который иногда называют «тестированием до изнеможения», предполагает тестирование этих систем до тех пор, пока вы не убедитесь в их безопасности. Но вы никогда не можете быть уверены, что этот процесс выявит все потенциальные недостатки. «Люди проводят испытания до тех пор, пока не исчерпают свои ресурсы и терпение», - говорит Саян Митра, специалист по информатике из Иллинойского университета в Урбане-Шампейне. Однако само по себе тестирование не может дать гарантий.

Митра и его коллеги могут. Его команде удалось доказать безопасность систем слежения за полосой движения для автомобилей и систем посадки для беспилотных самолетов. Сейчас их стратегия используется для посадки беспилотников на авианосцы, а компания Boeing планирует испытать ее на экспериментальном самолете в этом году. «Их метод обеспечения комплексных гарантий безопасности очень важен», - говорит Корина Пасаряну, научный сотрудник Университета Карнеги-Меллон и Исследовательского центра НАСА имени Эймса.

Их работа заключается в обеспечении гарантий результатов алгоритмов машинного обучения, которые используются для информирования автономных транспортных средств. На высоком уровне многие автономные автомобили состоят из двух компонентов: системы восприятия и системы управления. Система восприятия подсказывает, например, как далеко находится ваш автомобиль от центра полосы движения, или в каком направлении движется самолет и каков его угол наклона по отношению к горизонту. Система работает, подавая необработанные данные с камер и других сенсорных устройств на алгоритмы машинного обучения на основе нейронных сетей, которые воссоздают окружающую среду вне автомобиля.

Затем эти оценки передаются в отдельную систему - модуль управления, который решает, что делать. Например, если перед автомобилем возникает препятствие, он решает, нажать на тормоза или объехать его. По словам Луки Карлоне, доцента Массачусетского технологического института, хотя модуль управления опирается на хорошо отлаженную технологию, «он принимает решения, основываясь на результатах восприятия, и нет никакой гарантии, что эти методы верны».

Чтобы обеспечить гарантию безопасности, команда Митры работала над обеспечением надежности системы восприятия автомобиля. Сначала они предположили, что можно гарантировать безопасность, если имеется идеальная визуализация внешнего мира. Затем они определили, насколько велика погрешность, вносимая системой восприятия в воссоздание окружения автомобиля.

Ключом к этой стратегии является количественная оценка неопределенностей, известных как диапазон ошибок, или «известных неизвестных», как выразился Митра. Эти расчеты основаны на том, что он и его команда называют договором восприятия. В программной инженерии договор - это обязательство, что при заданном входном сигнале компьютерной программы выходной сигнал будет находиться в определенном диапазоне. Выяснить этот диапазон не так-то просто. Насколько точны датчики автомобиля? Сколько тумана, дождя или солнечных бликов может выдержать беспилотник? Но если вы можете удерживать автомобиль в заданном диапазоне неопределенности и если определение этого диапазона достаточно точно, команда Митры доказала, что вы можете обеспечить его безопасность.

Саян Митра, ученый-компьютерщик из Иллинойского университета в Урбане-Шампейне, помог разработать систематический подход для обеспечения безопасности некоторых автономных систем. Фото: Virgil Ward II

Это знакомая ситуация для всех, у кого неточный спидометр. Если вы знаете, что прибор никогда не отклоняется более чем на 5 миль в час, вы можете избежать превышения скорости, всегда держась на 5 миль в час ниже ограничения скорости (как показывает ваш недоверчивый спидометр). Договор о восприятии дает аналогичную гарантию безопасности несовершенной системы, которая зависит от машинного обучения.

«Не нужно иметь идеальное восприятие», - говорит Карлоун. «Вы просто хотите, чтобы оно было достаточно хорошим, чтобы не подвергать безопасность риску». По его словам, наибольший вклад команды заключается в том, что она «представила всю идею договоров восприятия» и предоставила методы их построения. Для этого они использовали методы из области компьютерных наук, называемой формальной верификацией, которая предоставляет математический способ подтверждения того, что поведение системы удовлетворяет набору требований.

«Даже если мы не знаем точно, как нейронная сеть делает то, что делает, - говорит Митра, - они показали, что можно численно доказать, что неопределенность результата работы нейронной сети находится в определенных пределах. И если это так, то система будет безопасной. Мы можем дать статистическую гарантию того, будет ли (и в какой степени) данная нейронная сеть действительно соответствовать этим границам».

Аэрокосмическая компания Sierra Nevada в настоящее время проверяет эти гарантии безопасности, тестируя посадку беспилотника на авианосец. Эта задача в некотором смысле сложнее, чем управление автомобилями, поскольку в полете задействовано дополнительное измерение. «При посадке есть две основные задачи, - говорит Драгос Маргинанту, главный технолог по искусственному интеллекту в компании Boeing, - выровнять самолет по взлетно-посадочной полосе и убедиться, что на полосе нет препятствий. Наша работа с Sayan заключается в получении гарантий выполнения этих двух функций».

«Моделирование с использованием алгоритма Саяна показывает, что выравнивание [самолета перед посадкой] действительно улучшается», - сказал он. Следующим шагом, запланированным на конец этого года, будет использование этих систем при реальной посадке экспериментального самолета Boeing. Марджинанту отметил, что одной из самых сложных задач будет выяснение того, чего мы не знаем - «определение неопределенности в наших оценках» - и определение того, как это влияет на безопасность. «Большинство ошибок происходит, когда мы делаем то, что, как нам кажется, мы знаем, а оказывается, что нет».

Источник: wired.com