08.11.2023

Совершенство упаковки: Массачусетский технологический институт использует искусственный интеллект для настройки точности роботов

Исследователи Массачусетского технологического института разработали метод машинного обучения для улучшения роботизированной упаковки, позволяющий роботам эффективно решать сложные задачи упаковки, удовлетворяя сразу нескольким требованиям. Метод использует диффузионные модели для поиска оптимальных решений, превосходящие традиционные методы, и перспективен для применения в различных средах.

Исследователи заставили семейство моделей ИИ работать вместе для решения многоэтапных задач манипулирования роботами.

Каждый, кто хоть раз пытался упаковать багаж размером с семью человек в багажник седана, знает, что это непростая задача. Роботы тоже с трудом справляются с задачами плотной упаковки.

Для робота решение задачи упаковки связано с выполнением множества требований, таких как укладка багажа таким образом, чтобы чемоданы не выпали из багажника, тяжелые предметы не оказались сверху легких, а столкновения руки робота с бампером автомобиля были бы исключены.

Некоторые традиционные методы решают эту задачу последовательно, угадывая частичное решение, удовлетворяющее одному критерию за раз, а затем проверяя, не были ли нарушены другие критерии. При длинной последовательности действий, которую необходимо выполнить, и куче багажа, который нужно упаковать, этот процесс может занять непрактично много времени.

Исследователи Массачусетского технологического института используют модели ИИ, чтобы помочь роботам более эффективно решать сложные задачи манипулирования объектами, например, упаковывать коробку с различными предметами. Изображение: Courtesy of the researchers

Инновационный подход исследователей Массачусетского технологического института

Для более эффективного решения этой задачи исследователи Массачусетского технологического института использовали одну из форм генеративного ИИ, называемую диффузионной моделью. В этом методе используется набор моделей машинного обучения, каждая из которых обучена представлять один конкретный тип требований. Эти модели объединяются для создания глобальных решений задачи упаковки с учетом всех критериев одновременно.

Метод позволяет быстрее, чем другие методики, генерировать эффективные решения, а также получать большее количество успешных решений за то же время. Важно отметить, что метод также способен решать задачи с новыми комбинациями ограничений и большим количеством объектов, которые модели не видели в процессе обучения.

Благодаря такой универсальности их методика может быть использована для обучения роботов пониманию и выполнению общих правил упаковки, таких как необходимость избегать соударений или желание, чтобы один предмет находился рядом с другим. Роботы, обученные таким образом, могут применяться для решения широкого спектра сложных задач в различных средах - от выполнения заказов на складе до организации книжной полки в доме.

«Мое видение заключается в том, чтобы подтолкнуть роботов к выполнению более сложных задач, которые имеют множество геометрических требований и нуждаются в принятии более непрерывных решений - именно с такими проблемами сталкиваются сервисные роботы в нашей неструктурированной и разнообразной среде обитания человека. С помощью мощного инструмента - моделей композиционной диффузии - мы можем решать эти более сложные задачи и получать отличные результаты генерализации», - говорит Чжутянь Ян, аспирант факультета электротехники и информатики и ведущий автор статьи, посвященной этой новой методике машинного обучения.

На этом рисунке показаны примеры двумерной упаковки треугольников. Это конфигурации без соприкосновений. Изображение: Courtesy of the researchers

Среди ее соавторов - аспиранты MIT Цзяюань Мао и Илунь Ду, Цзяцзюнь Ву, доцент кафедры информатики Стэнфордского университета, Джошуа Б. Тененбаум, профессор кафедры мозга и когнитивных наук MIT и сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), Томаш Лозано-Перес, профессор кафедры компьютерных наук и техники MIT и сотрудник CSAIL, и старший автор Лесли Кэлблинг, профессор кафедры компьютерных наук и техники Panasonic в MIT и сотрудник CSAIL. Результаты исследования будут представлены на конференции «Обучение роботов».

Сложности ограничений

Непрерывные задачи выполнения критериев представляют особую сложность для роботов. Эти проблемы возникают в многошаговых задачах манипулирования роботами, таких как упаковка предметов в коробку или сервировка обеденного стола. Они часто связаны с выполнением ряда требований, включая геометрические ограничения, например, избежание столкновений руки робота с окружающей средой; физические ограничения, например, укладка предметов в стопку так, чтобы они были устойчивы; качественные ограничения, например, положить ложку справа от ножа.

Требований может быть много, и они варьируются в разных задачах и средах в зависимости от геометрии объектов и заданных человеком критериев.

Для эффективного решения этих задач исследователи Массачусетского технологического института разработали метод машинного обучения, получивший название Diffusion-CCSP. Диффузионные модели учатся генерировать новые образцы данных, которые похожи на образцы из обучающего набора данных, путем итеративного уточнения их вывода.

На этом рисунке показана укладка 3D-объектов с  критериями по устойчивости. Исследователи отмечают, что по крайней мере один объект поддерживается несколькими объектами. Изображение: Courtesy of the researchers

Для этого диффузионные модели изучают процедуру внесения небольших улучшений в потенциальное решение. Затем, решая задачу, они начинают со случайного, очень плохого решения и постепенно улучшают его.

Например, представьте, что на смоделированном столе в произвольном порядке расставлены тарелки и посуда, причем они могут физически накладываться друг на друга. Ограничения, связанные с отсутствием столкновений между объектами, приведут к тому, что они будут отталкиваться друг от друга, в то время как качественные ограничения будут притягивать тарелку к центру, выравнивать вилку для салата и вилку для ужина и т.д.

Диффузионные модели хорошо подходят для решения подобной задачи удовлетворения непрерывных требований, поскольку влияние нескольких моделей на позицию одного объекта может быть скомпоновано таким образом, чтобы способствовать удовлетворению всех критериев, поясняет Янг. Начиная каждый раз со случайного начального положения, модели могут получить разнообразный набор хороших решений.

Совместная работа

В модели Diffusion-CCSP исследователи хотели отразить взаимосвязь ограничений. Например, при упаковке один ограничитель может требовать, чтобы определенный объект находился рядом с другим объектом, а второй ограничитель может определять, где должен быть расположен один из этих объектов.

Diffusion-CCSP обучает семейство диффузионных моделей, по одной для каждого типа ограничений. Модели обучаются вместе, поэтому у них есть общие знания, например, геометрия объектов, которые необходимо упаковать.

Затем модели совместно находят решения, в данном случае места расположения объектов, которые совместно удовлетворяют требованиям.

«Мы не всегда находим решение с первого раза. Но когда вы продолжаете уточнять решение и происходит какое-то нарушение, это должно привести вас к лучшему решению. Вы получаете подсказку от того, что что-то не так», - говорит Янг.

Обучение отдельных моделей для каждого типа требований с последующим их объединением для прогнозирования значительно сокращает объем необходимых обучающих данных по сравнению с другими подходами.

Однако для обучения этих моделей все равно требуется большой объем данных, демонстрирующих решенные задачи. По словам Янга, человеку пришлось бы решать каждую задачу традиционными медленными методами, что делает стоимость создания таких решений непомерно высокой.

Поэтому исследователи изменили процесс на противоположный, сначала придумав решения. Они использовали быстрые алгоритмы для создания сегментированных ящиков и размещения в каждом сегменте разнообразного набора 3D-объектов, обеспечивая плотную упаковку, стабильные позиции предметов и отсутствие столкновений.

«Благодаря этому процессу генерация данных при моделировании происходит практически мгновенно. Мы можем генерировать десятки тысяч окружений, в которых мы знаем, что проблемы решаемы», - говорит Янг.

Обученные на основе этих данных диффузионные модели совместно определяют места, в которые роботизированный манипулятор должен помещать объекты для решения задачи упаковки с соблюдением всех критериев.

Они провели технико-экономическое обоснование, а затем продемонстрировали Diffusion-CCSP на реальном роботе, решив ряд сложных задач, включая укладку двумерных треугольников в коробку, упаковку двумерных фигур с ограничениями на пространственные соотношения, укладку трехмерных объектов с ограничениями на устойчивость, а также упаковку трехмерных объектов с помощью роботизированной руки.

Во многих экспериментах этот метод превосходил другие методики, генерируя большее число эффективных решений, которые были устойчивы и не допускали столкновений.

В будущем Янг и ее соавторы хотят протестировать Diffusion-CCSP в более сложных ситуациях, например, с роботами, которые могут перемещаться по комнате. Они также хотят, чтобы Diffusion-CCSP могла решать задачи в различных областях без необходимости переобучения на новых данных.

«Diffusion-CCSP - это решение для машинного обучения, которое опирается на существующие мощные генеративные модели, - говорит Данфей Сюй (Danfei Xu), доцент Школы интерактивных вычислений Технологического института Джорджии и исследователь в NVIDIA AI, который не принимал участия в этой работе. - Мы можем быстро генерировать решения, которые одновременно удовлетворяют нескольким требованиям, комбинируя известные модели ограничений. Несмотря на то, что этот подход находится на ранней стадии разработки, его постоянное совершенствование обещает создать более эффективные, безопасные и надежные автономные системы в различных приложениях».

Ссылка: "Compositional Diffusion-Based Continuous Constraint Solvers", Zhutian Yang, Jiayuan Mao, Yilun Du, Jiajun Wu, Joshua B. Tenenbaum, Tomás Lozano-Pérez and Leslie Pack Kaelbling, 2 сентября 2023 г., Computer Science > Robotics. arXiv:2309.00966

Исследование частично финансировалось Национальным научным фондом, Управлением научных исследований ВВС, Управлением военно-морских исследований, Лабораторией искусственного интеллекта MIT-IBM Watson, MIT Quest for Intelligence, Центром мозга, разума и машин, Институтом искусственного интеллекта Boston Dynamics, Стэнфордским институтом человекоцентрированного искусственного интеллекта, Analog Devices, JPMorgan Chase and Co. и Salesforce.

Источник: scitechdaily.com