Революция в зрении роботов: первый в мире массовый лидар видит цвет и 3D одновременно

Калифорнийская технологическая компания запустила в производство первый в мире серийный лидар (лазерный радар) с «родным» цветом, который одновременно захватывает трехмерное пространство и цветовые данные. До сих пор беспилотные автомобили и роботы полагались на отдельные датчики для каждого потока данных. Но новые устройства, названные Rev8, могут повысить безопасность, поскольку машины смогут быстрее воспринимать 3D-информацию и цвет окружающей среды.

«Впервые один лидар может понимать дорожные знаки, интерпретировать стоп-сигналы или просто передавать все богатство планеты Земля в картах с геодезической точностью и цветом», — заявили представители компании в своем пресс-релизе 4 мая.

Как это работает?

Обычные лидары работают, испуская лазерные импульсы и измеряя время возвращения отраженных сигналов. Это позволяет им с высокой точностью вычислять расстояние до объектов и собирать физическую информацию (например, отражающую способность поверхностей). Специализированный чип обработки преобразует возвращающиеся сигналы в точки на 3D-карте и отправляет их на главный компьютер для принятия решений. Если устройству нужно «видеть» цвет, требуется отдельная камера, а затем калибровка ее данных с данными лидара.

Новые датчики Rev8 отличаются тем, что обнаруживают как лазерный свет для восприятия глубины, так и окружающий свет для получения цвета. Новый чип Ouster под названием «L4» строит 3D-карту из возвращенного лазера и присваивает каждой генерируемой 3D-точке соответствующий цвет. Датчики делают это с помощью лавинных фотодиодов, работающих в режиме счета одиночных фотонов. Каждый фотон запускает электронную «лавину», создавая мощный электрический сигнал с высоким разрешением.

Представители Ouster заявили, что семейство датчиков Rev8 может обнаруживать до 20 триллионов фотонов в секунду с точностью до пикосекунды. Для сравнения: типичный коммерческий лидар обрабатывает лишь несколько миллионов фотонов в секунду. Датчики Rev8 имеют разрешение, сопоставимое с мегапиксельной камерой смартфона, но 48-битная глубина цвета дает им гораздо лучшую точность. Самый продвинутый датчик в линейке, OS1 Max, имеет дальность обнаружения до 500 метров и поле зрения 45 градусов.

Почему это важно для роботов и автопилотов?

Ключевое преимущество одного датчика, захватывающего и 3D, и цвет, заключается в том, что оба потока данных идеально выровнены с момента их поступления на чип. Это исключает трудоемкую и вычислительно сложную фазу калибровки, снижает производственные затраты и экономит драгоценное место внутри устройства. Устранение калибровки также уменьшает риск ошибок при интерпретации двух потоков данных.

По словам Джона Моллоя, эксперта по автономному зондированию и безопасности ИИ из Университета Йорка (Великобритания), это может сделать беспилотные автомобили безопаснее. «Нативный цветной лидар создает потенциал для более быстрых и эффективных систем восприятия, которые лучше понимают окружающую среду, одновременно уменьшая размер, сложность и, потенциально, стоимость стека автономного зондирования. Это может оказаться особенно ценным для создания более безопасной, доступной и широко внедряемой автономной мобильности», — сказал Моллой, не участвовавший в разработке.

Революция Rev8 заключается не просто в совмещении двух функций в одном корпусе. Это сдвиг парадигмы для так называемых «мировых моделей» — нейросетей, которые обучают гуманоидных роботов и беспилотники ориентироваться в реальности. Раньше алгоритмам приходилось тратить вычислительные ресурсы на «склеивание» разнородных данных: пятнистого облака точек от лидара и плоской картинки с камеры. Теперь нейросеть получает на вход готовое цветное 3D-облако, где каждый пиксель изначально знает, где он находится в пространстве.

Это ускоряет обучение роботов в разы. Представьте себе робота-курьера, которому нужно отличить красный кирпич от красной коробки на зеленой траве. Раньше он сначала строил геометрию («это куб»), потом накладывал цвет («это красный»), потом пытался совместить. Rev8 делает это в один такт. Более того, способность различать стоп-сигналы автомобилей (красный свет на фоне ночного неба) или внезапно выскочившего на дорогу оленя становится не задачей сложной калибровки, а штатной функцией одного чипа.

Однако у революции есть и обратная сторона. Обработка 20 триллионов фотонов в секунду порождает чудовищные объемы данных. Даже с учетом сжатия, цветное 3D-облако точек для одного часа езды беспилотника может занимать терабайты памяти. Вопрос о том, как хранить, передавать и обрабатывать эти данные в реальном времени, пока остается открытым. Ouster заявляет, что их чип L4 решает эту проблему аппаратно, на лету отбрасывая избыточную информацию, но независимые тесты еще впереди.

Конкуренты и будущее

Ouster — не единственная компания, претендующая на долю рынка сенсоров для роботов. В апреле китайская Hesai также представила лидар, обрабатывающий цвет и 3D-глубину прямо на чипе, но, в отличие от Rev8, он еще не вышел в массовое производство. А в исследовательских лабораториях технология ушла еще дальше. Прошлым летом ученые из Рочестерского университета и Калифорнийского университета показали лазер размером с монету, который испускает 20 квинтиллионов импульсов света в секунду и может точно интерпретировать объекты, движущиеся со скоростью до 143 км/ч.

Спрос на новейшие лидары растет бешеными темпами. Сенсоры Ouster уже используются в автономных системах Google и Volvo. Waymo (дочерняя компания Alphabet) развернула роботакси в крупных городах США и планирует начать операции в Лондоне уже в этом году. Гуманоидные роботы, по прогнозам, возьмут на себя все больше ролей в образовании, медицине и уходе за пожилыми, в то время как количество промышленных роботов более чем удвоилось с 2004 года.

Что нас ждет завтра?

Массовый выпуск Rev8 — это не просто новость из мира «железа». Это сигнал о том, что через 3–5 лет цветные лидары станут стандартом для любого автономного устройства, от роботов-пылесосов до сельскохозяйственных комбайнов. А значит, уход «в народ» гуманоидных помощников, о котором так долго говорили футурологи, может начаться не с дешевых сервоприводов, а именно с появления доступного и быстрого «глаза», способного видеть мир так же, как видит его человек — сразу и объемно, и в цвете.

Остается главный этический вопрос. Чем лучше машины видят мир, тем больше данных о нашей частной жизни они собирают. Лидар, фиксирующий каждую царапину на вашей машине и цвет вашей одежды в 3D-формате, потенциально является идеальным инструментом слежки. И если сейчас это воспринимается как технологическое чудо, то лет через пять, возможно, мы будем бороться не за дальность обнаружения в 500 метров, а за право, чтобы эти датчики на беспилотниках были намеренно «оглуплены». Но это уже совсем другая история. Пока же Ouster празднует победу: первый шаг к цветному 3D-будущему сделан.