В Nvidia робота научили решать несложные задачи, наблюдая за человеком

Промышленные роботы в типовом случае — это механизм, который способен раз за разом повторять детально предписанную ему последовательность действий. Обычно требуется, чтобы между сделанным из металла роботом и программирующим его человеком сохранялась дистанция, исключающая соприкосновение манипулятора робота и человека, состоящего из мягкой плоти. Это затрудняет работу с такими роботами.

Многие исследователи работают над тем, чтобы роботы и люди могли работать, что называется, бок о бок. Появилось соответствующее направление — коллаборативные роботы, они движутся медленнее обычных и мгновенно замирают, если фиксируют столкновение с человеком. Этого мало, ученые хотели бы не только сделать роботов безопасными, но также освободить человека от длительной и зачастую скучной процедуры «объяснений» роботу, что от него требуется. Вместо этого, считают они, достаточно будет, чтобы робот понаблюдал за процессом, а затем сам написал бы для себя программу, необходимую ему для повторения действий человека.

В американской Nvidia этой темой занимается команда под руководством Дитера Фокса, старшего директора по исследованиям в области робототехники, он также является профессором Университета Вашингтона. Команда уже добилась немалых успехов, разработана система, позволяющая роботу учиться выполнению простых действий, наблюдая за тем, как их выполняет человек.

Пока что уровень сложности таких задач не слишком высок — от робота требуется сложить несколько разноцветных кубиков. Видео.

Для этого исследователи начали с обучения последовательности нейросетей различать объекты, находящиеся в поле зрения робота, делать выводы об их взаимодействии друг с другом и затем генерировать программный код, который заставил бы робота повторить шаги, которые он наблюдал в исполнении человека. По заявлению исследователей, роботу достаточно один раз увидеть, как человек складывает кубики, чтобы он мог повторить эти действия.

Любопытная особенность системы — она также формирует описания предпринимаемых шагов, понятные человеку.

Эксперименты далеки от завершения, в частности, вместо робота используется его цифровая симуляция. Но если все пройдет гладко, то люди получат новую возможность взаимодействия с роботами, доступную любому человеку — просто показать роботу, что он должен делать. Все остальное робот сделает самостоятельно.