机器人具有定位精度高、响应速度快、运动平稳性强等优势，且不受情绪及疲劳等因素影响，为腹腔镜手术中持镜手所面临的问题提供一种有效的解决方案。基于腔镜图像的主动式引导是持镜机器人的交互模式趋势，其核心为手术器械视觉追踪，现有方法大多借助人工标记进行手术器械追踪，但这种方法对于通用手术器械并不适用，且需临床增加额外杀毒灭菌流程，应用范围有限，因此无标记手术器械视觉追踪更具临床普适性。术中腹腔环境复杂多变，腹腔镜视野中无标记手术器械精准定位难度较大，且追踪速度无法满足主刀医生对持镜机器人的实时性要求，极大制约了持镜机器人在临床中的推广与应用。
近日，中国科学院苏州生物医学工程技术研究所高欣团队提出一种融合区域分割思想与目标搜索策略的轻量型目标提取神经网络架构，构建一种全自动无标记手术器械视觉追踪方法。该研究基于linkNet网络构筑多实例分割模型，快速提取腹腔镜视野中手术器械不同部件区域，利用手术器械结构特点，以手术器械关节为追踪靶点，结合腹腔镜视野中手术器械运动特性，引入视觉追踪过程上下文信息，实现手术器械的精准跟踪。
研究结果显示，所提方法在公开的腹腔镜手术视频数据集m2cai16-tool（累计时长9小时56分钟，共计89.4万帧）上取得100%的追踪精度、15帧/秒的追踪速度、低至6像素以下的定位误差，相比于现有方法追踪速度提升50%、定位误差降低30%，实现了高精度无标记手术器械快速视觉追踪。该研究为持镜机器人视觉追踪模块提供了一种新研发思路。
相关成果发表在International Journal of Computer Assisted Radiology and Surgery上，研究得到江苏省科学技术厅等机构资助。
腹腔镜手术视频中无标记手术器械视觉追踪结果。红色曲线表示手术器械实际运动轨迹，绿色曲线表示手术器械视觉追踪轨迹。a：腹腔镜手术视频中抓钳的视觉追踪结果，b：腹腔镜手术视频中电钩的视觉追踪结果。