Две группы исследователей из Массачусетского технологического института придумали, как с помощью разработанного в нем ранее датчика GelSight наделять роботов чувством осязания и придавать им ловкость рук.
GelSight стал простым решением сложной задачи — он представляет собой брусок прозрачной резины, одна из граней которого покрыта металлической краской. Когда эту грань прижимают к предмету, ей передается его форма; отражающая способность краски облегчает алгоритмам компьютерного зрения распознавание геометрии объекта. Степень твердости поверхности, которую ощупывает манипулятор робота с GelSight, определяется по площади контакта датчика с нею при надавливании. Калибровку механизма анализа твердости исследователи провели с помощью машинного обучения; по их словам, им удалось добиться того, что оценки роботов и людей, ощупывавших одни и те же предметы, совпадали.
Вторая группа, дополнив систему компьютерного зрения тактильным датчиком GelSight, придала роботу способность точно определять положение в пространстве небольшого объекта, например, отвертки, уже после того, как робот взял его манипулятором. В этой ситуации задача осложняется тем, что предмет заслонен рукой робота, но благодаря осязанию он понимает, за какую часть он ухватил отвертку.