《一种采用分布式多模态传感模块的身体尺度机器人皮肤的设计、评估与应用》论文解读

发布于:2025-07-28 ⋅ 阅读:(10) ⋅ 点赞:(0)

本文提出一种身体尺度机器人皮肤,由分布式多模态传感模块(MSMs) 和多层织物组成,结合超分辨率(ASR) 和断层扫描(ERT) 两种互补的 transduction 机制,以较少的传感元件实现大面积覆盖。其中,ASR 通过麦克风感知高频振动,ERT 通过电极感知低频压力变化,可编码触摸的时空特性并经训练的卷积神经网络(CNN)解码,对 9 种触摸模态(如 Hit、Pat、Press 等)的分类准确率达95.3%。该皮肤适配商用机械臂(如 UR5e),能通过触觉交流实现人机物理交互,为机器人全身触觉感知提供了高效解决方案。


目录

一、为什么要做 “机器人皮肤”?

二、机器人皮肤的 “核心设计”:硬件 + 算法

2.1 核心算法:两种互补机制,少元件覆盖大面积

2.2 算法:两种 “解读信号的方法”,分工合作

三、机器人皮肤是怎么造出来的?(制造流程)

四、机器人皮肤好用吗?(性能测试)

4.1 两种感知机制互补,几乎能 “听懂” 和 “摸透” 所有常见触摸

4.2 麦克风:能 “听” 到 15 厘米内的细微振动

4.3 电极:能 “摸” 到 0.24N 的轻微压力(相当于拿起一张纸的力)

4.4 总结:性能足够满足人机交互需求

五、装在机械臂上怎么用?(实际应用)

5.1 先让皮肤 “贴” 在机械臂上:适配 3D 曲面

5.2 排除机械臂自身的 “噪音”:只认人类触摸

5.3 实际互动:机械臂能 “看懂” 触摸意图

六、机器人怎么 “看懂” 人类的触摸?(触觉交流)

6.1 先定义 “触摸密码本”:9 种常见触摸类型

6.2 给触摸 “编密码”:把触摸转化为 “特征图”

6.3 用 “神经网络” 解码:识别触摸类型

6.4 解码效果:95.3% 的准确率,很少认错

6.5 从 “感知” 到 “理解” 的逻辑

七、总结


一、为什么要做 “机器人皮肤”?

人类皮肤能感知各种触摸 —— 比如手能抓握杯子(精细触觉),后背能感觉到轻拍(粗略触觉)。但现在的机器人大多靠 “看”(视觉),没有全身触觉,没法像人类一样自然互动(比如你拍它一下,它不知道是友好还是提醒)。

现有机器人的触觉传感器要么覆盖面积小,要么零件太多(容易坏、耗电)。这篇文章就想做一种 “全身皮肤”,让机器人能感知各种触摸,还能覆盖大面积、用更少零件。


二、机器人皮肤的 “核心设计”:硬件 + 算法

2.1 核心算法:两种互补机制,少元件覆盖大面积

两种算法分别处理不同频率的触摸信号,通过 “信号重建” 而非 “直接测量”,用少量传感元件覆盖大面积,避免了传统传感器 “元件多、易损坏” 的问题。

1. 硬件:两层关键结构,就像 “智能布料 + 感知小点”

多层织物(像皮肤的 “表皮和真皮”)
不是普通布料,是三层特殊材料叠在一起(图 2):

最外层:表面有小纹理的橡胶布(loop-neoprene),被触摸时会产生微小振动(比如被摩擦、轻拍时);

中间层:像海绵网的透气材料(airmesh),能把振动传到远处,还能跟着压力变形;

最下层:带导电小贴片的布,被按压时,贴片会和下面的 “导电底座” 接触更紧密,改变电阻。

多模态传感模块(MSMs,像皮肤里的 “触觉小神经”)
分布在织物下面,每个模块都有两个 “本领”(图 2):

一个 “小麦克风”:藏在硅胶胶囊里,专门听最外层传来的微小振动(比如快速摩擦的声音);

一个 “导电螺钉”:能测最下层布料和底座之间的电阻变化(比如被按压时的变化)。
这些模块不用密密麻麻排列,稀疏分布就行,大大减少了零件数量。

2.2 算法:两种 “解读信号的方法”,分工合作

1. 声学超分辨率(ASR):“听” 出快速动态的触摸(如摩擦、轻拍)

原理:当你快速摩擦或轻拍皮肤时,最上层产生的振动会通过中间层传到周围的麦克风。由于振动离源头越远越弱(类似声音传播),算法通过对比不同麦克风收到的振动强度(图 4 (b) 左侧,颜色越亮表示信号越强),能反推出触摸的位置 —— 哪怕那里没有传感器(这就是 “超分辨率” 的神奇之处)。

对应硬件:依赖封装麦克风的 “听力”,只要振动能被多个麦克风捕捉,就能算出准确位置(图 4 (c) 中 100Hz 的振动只有麦克风能 “听” 到)。

2. 电阻抗断层扫描(ERT):“摸” 出缓慢静态的触摸(如按压、紧握)

原理:当你按住皮肤不动时,中间层变形会让最下层的导电贴片与底座贴得更紧,导致局部电阻变小。电极通过测量不同位置的电阻变化(图 4 (b) 右侧,颜色越亮表示电阻变化越明显),算法能还原出压力的分布和大小 —— 就像 “给压力画张图”。

对应硬件:依赖电极的 “触感”,通过电阻变化判断哪里被按压、按得多重(图 4 (c) 中 8Hz 的振动只有电极能 “摸” 到)。


三、机器人皮肤是怎么造出来的?(制造流程)

准备底座:给机器人皮肤做 “骨架”

首先需要一个固定传感器的基底,就像衣服需要衣架支撑一样。

  • 步骤 1(图 3 (a)):用激光切割两块亚克力板(一种透明硬塑料),切出大小不同的孔,再用亚克力胶水把两块板粘起来,形成带 “台阶孔” 的底座 —— 大孔用来装传感器模块,小孔方便布线。最终底座上有 16 个孔,呈 4×4 方阵,孔间距 75 毫米。
  • 作用:这个底座代表机器人的表面(比如机械臂外壳),后续所有零件都要装在上面。

制作导电层:给底座 “穿导电衣”

机器人皮肤需要能传递电信号,因此要在底座表面做一层导电材料。

  • 步骤 2(图 3 (b)):往底座上反复喷涂石墨溶液(类似黑色导电涂料),形成均匀的导电层。喷完后,任意两个相邻孔之间的电阻大约是几十千欧 —— 这个电阻值能让电流稳定通过,又不会太小导致短路。
  • 作用:这层导电层是电阻抗断层扫描(ERT)算法的 “信号载体”,后续按压皮肤时,电阻变化就靠它传递。

安装多模态传感模块(MSMs):装 “触觉神经”

这一步要把能 “听” 振动和 “测” 电阻的核心部件装到底座上。

  • 步骤 3(图 3 (c)(d)(e)):
    • 先在底座的孔里装上带垫圈的通风螺钉,在垫圈和底座之间涂银浆(一种导电胶水),确保螺钉和石墨导电层紧密连接(电信号不流失)。
    • 用硅胶做一个圆顶状的胶囊(像小气球),粘在螺钉的垫圈上 —— 这个胶囊是麦克风的 “共鸣腔”,能增强对振动的敏感度。
    • 把麦克风塞进聚氨酯软管(有弹性的管子),再把管子套在螺钉的另一端,利用管子的弹性固定麦克风 —— 这样麦克风就能 “听” 到胶囊传来的振动,又不会被直接碰撞损坏。
  • 作用:每个 MSM 就像一个 “迷你触觉传感器”,螺钉负责传导电信号(给 ERT 用),麦克风负责收振动信号(给 ASR 用)。

制作多层织物:做 “触觉表皮”

这层织物是直接接触外界触摸的部分,需要能传递振动和变形。

  • 步骤 4(图 3 (f)(g)(h)):
    • 先做最下层的导电层:把方形的导电布贴片粘在普通布料上,中间夹一层聚氨酯薄膜,加热粘牢 —— 这些贴片受压时会和底座的石墨层接触,改变电阻。
    • 把做好的导电层边缘用胶水固定在底座上,再往上粘中间层的 airmesh(透气网布),最后粘最上层的 loop-neoprene(带纹理的橡胶布)—— 每层都用喷雾胶水粘牢,确保振动和变形能顺利传递。
  • 作用:三层织物配合,既能产生和传递振动(给 ASR 算法),又能通过变形改变电阻(给 ERT 算法)。

整个过程就像 “盖房子”:底座是 “地基”,石墨层是 “电线网”,MSMs 是 “传感器插座”,多层织物是 “墙面”。最终组装出的机器人皮肤,能通过织物接收触摸,靠 MSMs 采集信号,再用两种算法解读 —— 既用最少的零件覆盖了大面积,又能区分多种触摸(如轻拍、按压)。


四、机器人皮肤好用吗?(性能测试)

4.1 两种感知机制互补,几乎能 “听懂” 和 “摸透” 所有常见触摸

图 4 (b) 左边是麦克风对振动的敏感度(颜色越亮越敏感),右边是电极对压力的敏感度:

麦克风对 20Hz 以上的高频振动(比如快速摩擦、轻敲)特别敏感,哪怕触摸位置离麦克风 6-15 厘米,也能清晰捕捉信号;

电极对 0-200Hz 的低频压力(比如持续按压)更敏感,只要按压深度超过 3 毫米,就能准确感知。

图 4 (c) 举了四个例子:50Hz 的振动两种机制都能测到,100Hz 的快速振动只有麦克风能测到,8Hz 的缓慢压力只有电极能测到,而 1Hz 的极弱信号两者都测不到(但这种情况在实际触摸中很少见)。
这意味着日常生活中人类的绝大多数触摸(如轻拍、按压、摩擦),它都能感知到。


4.2 麦克风:能 “听” 到 15 厘米内的细微振动

为了测试麦克风的 “听力”,研究者用设备在皮肤不同位置(0-15 厘米)产生振动,记录麦克风收到的信号强度(图 5)。

结果显示:在 15 厘米范围内,麦克风都能清晰感知振动,尤其是 6 厘米内,27Hz 以上的振动信号都很明显(信号强度超过噪音 10 倍以上)。

这意味着即使触摸位置离传感器有一定距离,皮肤也能通过振动传播 “听” 到触摸的位置和力度,满足大面积覆盖的需求。


4.3 电极:能 “摸” 到 0.24N 的轻微压力(相当于拿起一张纸的力)

电极主要感知按压等静态触摸,研究者用设备模拟不同力度的按压,测试电极的灵敏度(图 6)。

图 6 (a) 显示:当按压力度达到 0.24N 时,电极就能检测到电阻变化(超过噪音的 3 倍),这个力度比我们平时轻轻按手机屏幕的力还小。

同时,电极还能区分按压力度的大小:按压越用力,电阻变化越明显,直到 9 毫米深度时(airmesh 层被完全压实),变化趋势才会改变。

虽然按压和松开时,电阻变化有轻微 “滞后”(类似弹簧回弹稍慢),但误差很小(piezoresistive 滞后 10.3%,机械滞后 33.7%),不影响实际使用。


4.4 总结:性能足够满足人机交互需求

综合来看,这款机器人皮肤的表现很实用:

敏感度高:能感知 0.24N 的轻触和 15 厘米内的振动;

覆盖范围广:稀疏分布的传感器就能覆盖大面积,不用密密麻麻安装;

分工明确:两种机制互补,几乎没有感知盲区,能应对人类互动中的各种触摸(如轻拍、按压、摩擦等)。
这些性能为它在机械臂等机器人上的实际应用打下了基础,比如能准确识别人类的触摸意图,实现自然交互。


五、装在机械臂上怎么用?(实际应用)

5.1 先让皮肤 “贴” 在机械臂上:适配 3D 曲面

机械臂的手臂是圆柱形的,不能直接用平面的皮肤,因此需要特殊的安装方式(图 7)。

图 7 (a) 展示了核心方案:用 3D 打印的 “半圆柱形底座” 拼出完整圆柱,套在 UR5e 机械臂的两个大手臂上。每个手臂的底座上装了 30 个多模态传感模块(MSMs),这些模块分成 6 组,每组 5 个,沿着圆柱面均匀分布(相邻两组间隔 60°),确保手臂各个方向都能感知触摸。

图 7 (b) 解决了 “导电连续性” 问题:两个半圆柱底座的接缝处涂了银浆(导电胶水),让底座表面的石墨导电层连在一起。测试显示,接缝处的电阻和底座内部的电阻几乎一样(P 值 0.218),确保电阻抗断层扫描(ERT)算法能正常工作 —— 就像给机械臂 “无缝穿衣”,不会因为拼接影响触觉感知。


5.2 排除机械臂自身的 “噪音”:只认人类触摸

机械臂运动时,电机和齿轮会产生振动,可能被皮肤的麦克风误当成 “触摸信号”。为了避免这种干扰,研究者加了一个 “参考麦克风”(图 8)。

图 8 展示了工作原理:参考麦克风专门录机械臂自身的噪音,而皮肤的 MSM 麦克风同时录 “噪音 + 触摸信号”。通过计算两者的信号差异(当差异超过 “3 倍噪音标准差” 这个阈值时),就能判断是否有真实触摸。

比如机械臂移动时,所有麦克风都会收到噪音,但只有被触摸的位置,MSM 麦克风的信号会突然变强,超过阈值,从而被识别为 “有效触摸”。而电极测量的电阻变化几乎不受机械噪音影响,进一步确保了对静态触摸(如按压)的准确感知。


5.3 实际互动:机械臂能 “看懂” 触摸意图

装上皮肤的机械臂,能通过解读触摸类型做出不同反应(图 13)。

皮肤会把触摸的 “时空特征”(比如轻拍的频率、按压的力度、摩擦的方向)转化成 4 种特征图,再通过训练好的卷积神经网络(CNN)识别出是哪一种触摸(如 Hit 重击、Pat 轻拍、Rub 摩擦等 9 种类型),准确率达 95.3%。

例如:当人类 “轻拍” 机械臂时,它可能放慢运动速度;当 “摩擦” 它时,可能调整手臂位置;当 “按压” 它时,可能暂停动作 —— 就像通过触摸和机械臂 “对话”。

这款机器人皮肤在机械臂上的应用,既解决了 3D 曲面贴合问题,又排除了机械噪音干扰,最终实现了 “触摸 - 识别 - 反应” 的完整互动。它让机械臂从 “只能按程序动” 变成 “能感知人类意图”,比如在工厂协作中,工人可以通过轻拍让机械臂暂停,通过摩擦让它调整角度,大大提升了人机协作的安全性和自然性。


六、机器人怎么 “看懂” 人类的触摸?(触觉交流)

6.1 先定义 “触摸密码本”:9 种常见触摸类型

研究者从人类日常触摸中选出 9 种典型模态作为 “密码本”(表 II),每种触摸有独特的 “时空特征”(比如力度、速度、持续时间):

比如 “Pat(轻拍)” 是快速、轻柔的接触;“Press(按压)” 是缓慢、持续的用力;“Rub(摩擦)” 是来回快速移动的接触。


6.2 给触摸 “编密码”:把触摸转化为 “特征图”

机器人皮肤会将每种触摸的 “时空特征”(何时、何地、如何触摸)转化为 4 种 “特征图”(类似给触摸拍 “四维快照”),图 9 以 “Rub(摩擦)” 为例展示了这些图:

频谱图:记录触摸的 “频率变化”(比如摩擦的快慢)。通过对麦克风捕捉的振动信号做短时傅里叶变换,得到 32×16 的图,能看出摩擦是高频还是低频。

强度历史图:记录不同位置麦克风的 “信号强弱”(比如摩擦位置的麦克风信号最强,远处较弱)。30×16 的图能反映触摸的空间分布。

导电分布图:记录电极感知的 “压力分布”(比如摩擦时接触区域的电阻变化)。通过 ERT 算法重建出 30×15 的图,能看出哪里被按压、力度如何。

电极电压变化图:记录压力随时间的 “变化趋势”(比如摩擦时压力忽大忽小)。30×20 的图能反映触摸的持续时间和动态变化。

这 4 种图合在一起,就像触摸的 “指纹”,包含了识别所需的全部信息。


6.3 用 “神经网络” 解码:识别触摸类型

有了 “特征图” 后,训练一个卷积神经网络(CNN)来 “看图识触摸”,图 10 展示了网络的工作流程:

预处理:先把 4 种图的数值标准化(统一到 - 1 到 1 之间),方便网络处理。

特征提取:每种图先经过卷积层(用 3×3 的 “过滤器” 提取关键特征,比如摩擦的高频模式、按压的静态压力区)、激活层和池化层(简化特征)。

分类输出:将提取的特征合并,通过全连接层和 SoftMax 层计算每种触摸的概率,最终输出最可能的类型(比如 “Rub” 的概率最高)。

为了让机器人在自身处理器上快速运行,网络设计得很 “轻便”:每个卷积层只用 8 个过滤器,分类速度达 8 次 / 秒,足够实时响应。


6.4 解码效果:95.3% 的准确率,很少认错

对 9 种触摸的总体识别准确率达 95.3%,比如 “Press(按压)” 几乎不会认错,“Tickle(轻挠)” 也能和其他触摸区分开。

对比实验显示:只用麦克风的高频特征(准确率 91.95%)或只用电极的低频特征(准确率 33.75%)效果都较差,说明两种模态结合很重要。


6.5 从 “感知” 到 “理解” 的逻辑

机器人 “看懂” 触摸的过程是:皮肤感知触摸→将触摸的时空特征编码为 4 种 “特征图”→CNN 通过识别这些图,匹配到 “密码本” 中的触摸类型→最终理解人类触摸的意图(比如轻拍可能是 “打招呼”,按压可能是 “让停下”)。这一过程让机器人能通过触觉与人类自然交流,就像理解 “触摸的语言” 一样。


七、总结

这款机器人皮肤通过硬件设计算法创新的结合,实现了让机器人全身具备高效触觉感知的目标。硬件上,它由多层织物和分布式多模态传感模块(MSMs)组成:多层织物(loop-neoprene、airmesh、导电层)能将触摸转化为可传递的高频振动和低频电阻变化,MSMs 则通过封装麦克风和电极分别采集这两种信号。算法上,声学超分辨率(ASR)通过振动信号重建高频动态触摸的位置,电阻抗断层扫描(ERT)通过电阻变化重建低频静态触摸的压力分布,两种机制互补,覆盖了人类互动中绝大多数触摸类型。

性能测试表明,该皮肤能感知 0.24N 的轻微压力和 15 厘米内的振动,对 9 种常见触摸(如轻拍、按压、摩擦)的分类准确率达 95.3%,且通过稀疏分布的传感元件(385 个麦克风 / 平方米、385 个电极 / 平方米)实现了大面积覆盖,避免了传统传感器元件过多导致的脆弱或高能耗问题。

在实际应用中,它成功适配 UR5e 机械臂的圆柱形表面,通过参考麦克风排除机械噪音干扰,能实时解读触摸意图并做出反应,实现了自然的触觉交流。

尽管存在多层织物拉伸性有限、石墨导电层均匀性待提升等局限,但该设计为机器人全身触觉感知提供了高效解决方案,推动了物理人机交互向更自然、更广泛的方向发展,未来在服务机器人、协作机器人等领域有重要应用潜力。


网站公告

今日签到

点亮在社区的每一天
去签到