一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法

摘要

一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法，涉及一种基于显微镜的虚拟力反馈遥纳操作平台及方法。它解决了目前国内外普遍采用的纳米操作系统对纳米粒子或构件进行操作缺乏操作过程实时的图像信息，系统的操作效率低、灵活性差的问题。该平台包括扫描电子显微镜、纳米定位器、操作探针、样品台、触觉主手Omega.3、纳米定位控制器、上位机和样本腔体；在VC++2008环境下，开发虚拟三维纳米操作环境；通过碰撞检测算法进行碰撞检测；上位机对所获得反馈力进行力觉渲染，并反馈到触觉主手Omega.3，实现虚拟力觉交互。本发明适用于遥纳操作技术领域。

说明书

技术领域

本发明涉及一种基于显微镜的虚拟力反馈遥纳操作平台及方法，属于遥纳操作技术领 域。

背景技术

近几十年来，随着微/纳米技术的快速发展和对微系统产品的结构微型化、功能集成 化的不断需求，高效、灵敏、适应性强的纳米操作系统具有广阔的应用前景。但传统的操 作方式由于受到纳米尺度的尺寸效应等因素的影响使得传统操作方式难以适应纳米尺度 构件操作技术的发展需求，具有虚拟现实功能的遥纳操作逐渐走上舞台。

目前国内外对纳米操作的研究，基于原子力显微镜（AFM）的操作系统最为成熟，但 是由于缺乏操作过程的实时图像信息使得系统具有操作效率低、灵活性差等缺点；基于 SEM的操作系统具有实时的操作图像反馈信息，并且操作对象不受样品台影响等优点，因 此基于SEM的纳米操作系统是功能较为完善的系统，是很有发展前途的一项技术。但在该 方面的研究刚刚开始，目前还处于探索阶段。到目前为止，在纳米尺度的操作还没有找到 兼顾效率、灵活性、准确性和成功率等综合性能的有效的操作方法。

发明内容

本发明的目的是针对目前国内外普遍采用的纳米操作系统对纳米粒子或构件进行操 作缺乏操作过程实时的图像信息，系统的操作效率低、灵活性差的问题，提供一种基于扫 描电子显微镜的虚拟力反馈遥纳操作平台及实现虚拟力觉交互的方法。

一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台，它包括扫描电子显微镜、纳米 定位器、操作探针、样品台、触觉主手、纳米定位控制器、上位机和样本腔体，

所述样本腔体内设置有纳米定位器，纳米定位器位于样本腔体的底部；

所述纳米定位器上设置有操作探针，操作探针的末端与样品台的台面相接触；所述样 品台固定安装在样本腔体的内侧壁上；该样品台用于放置纳米线；

所述扫描电子显微镜固定安装在样本腔体上方居中的位置上，该扫描电子显微镜的镜 头朝向样本腔体内，该扫描电子显微镜用于采集操作探针针尖所在区域的图像；

所述触觉主手通过USB接口与上位机连接，上位机通过串口与纳米定位控制器连接； 纳米定位控制器通过通讯线与样本腔体内的纳米定位器连接；

扫描电子显微镜的图像信息输出端连接上位机的图像信息输入端；

上位机将图像信息处理后发送位置与力控制信息至触觉主手；

触觉主手的主手位置信息信号输出端连接上位机的主手位置信息信号输入端；

上位机的位置控制指令信号输出端连接纳米定位控制器的位置控制指令信号输入端；

纳米定位控制器的位置信号输出端连接纳米定位器的位置信号输入端。

一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，该控 制方法为：

步骤一、在上位机上，在VC++2008环境下，利用触觉主手的配套二次开发软件 Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境；

步骤二、将纳米线放置在样品台上，然后通过碰撞检测算法对虚拟环境中的操作探针 的位置和其所在的虚拟环境进行碰撞检测：

首先应用层次包围盒法在操作探针外设置包围盒，若操作探针的包围盒未与纳米线和 样品台未发生碰撞则不做判断；

若操作探针的包围盒发生碰撞，则开始进入碰撞检测循环序列当中：

碰撞检测循环序列纳米操作碰撞检测分为：操作探针与样品台之间的纳米操作碰撞检 测、纳米线与样品台之间的纳米操作碰撞检测及操作探针与纳米线之间的纳米操作碰撞检 测三部分；

操作探针与样品台之间的纳米操作碰撞检测为：先判断操作探针的包围盒与样品台是 否发生碰撞，若否，则不做任何动作；

若是，则继续判断操作探针与样品台是否发生碰撞，若否，则不做任何动作；

若是，则将检测到碰撞的反馈力反馈给上位机；

纳米线与样品台之间的纳米操作碰撞检测为：应用层次包围球法在纳米线外设置包围 球；

先判断纳米线的层次包围球与样品台是否发生碰撞，若否，则不做任何动作；

若是，则继续判断纳米线与样品台是否发生碰撞，若否，则不做任何动作；

若是，则将检测到碰撞的反馈力反馈给上位机；

操作探针与纳米线之间的纳米操作碰撞检测为：

先由上位机采集通过扫描电子显微镜获得的操作探针的几何参数，建立操作探针的锥 体模型，根据现有数据填充适合锥体的包围球结构，执行操作探针的包围球结构与纳米线 的包围球结构之间的碰撞检测：先判断操作探针的包围盒与纳米线是否发生碰撞，若否， 则不做任何动作；

若是，则，采用叠前球心排列的方法对操作探针和纳米线进行骨骼球填充，执行操作 探针的骨骼球与纳米线的骨骼球结构之间的碰撞检测，若否，则不做任何动作；

若是则将检测到碰撞的反馈力反馈给上位机；

步骤三、上位机通过力觉渲染算法和Chia3d力觉渲染引擎实现对步骤二的操作探针 与样品台之间的纳米操作碰撞检测、纳米线与样品台之间的纳米操作碰撞检测及操作探针 与纳米线之间的纳米操作碰撞检测所获得的反馈力的力觉渲染，并将渲染后的反馈力的数 据反馈到触觉主手，实现虚拟力觉交互。

本发明的优点是：

本发明的目的是在SEM的操作环境下，将虚拟现实技术、触觉设备与纳米操作系统相 结合，使操作者通过上位机可以感受到纳米操作过程的实时力觉反馈，并且利用相关软件 开发的虚拟操作环境实现纳米操作过程的三维可视化，从而确保纳米操作的实时性、灵活 性和准确性。

有益效果：

1.本发明基于开发的虚拟纳米操作环境，通过虚拟纳米操作，实现实际纳米操作过 程的预测，在预测结果的基础上控制实际纳米操作平台进行单步随动或离线运动,同时加 入了触觉反馈设备提供纳米操作过程的实时力觉反馈，增强了操者的感知能力；

2.本发明所开发的虚拟纳米操作环境是三维的，通过软件开发的虚拟操作环境可实 现纳米操作过程的操作环境的实时三维可视化,克服了SEM图像是二维的缺点，从而确保 了三维纳米操作过程的准确性和可视化；

3.本发明首先操纵虚拟现实触觉设备主手来控制虚拟纳米操作从手的运动，操作成 功后再通过串口控制实际纳米操作探针的运动，从而大大地提高了纳米操作的成功率，确 保了操作平台的安全，在SEM环境下进行纳米操作，实现实际纳米操作过程图像的实时反 馈；

4.本发明应用具有力觉临场感的新型遥纳操作系统，虚拟环境中的纳米操作实现后 通过串口控制实际纳米操作过程，实现纳米操作的远距离控制，即遥操作，可完成远程纳 米操作、受力信息反馈、实验校正，操作简单，降低平台成本的同时提高了操作的成功率。

附图说明

图1为一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台的结构示意图；

图2为一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互方法 的方法流程图

具体实施方式

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述的一种基于扫描电 子显微镜的虚拟力反馈遥纳操作平台，它包括扫描电子显微镜1、纳米定位器2、操作探 针3、样品台4、触觉主手Omega.35、纳米定位控制器6、上位机7和样本腔体8，

所述样本腔体8内设置有纳米定位器2，纳米定位器2位于样本腔体8的底部；

所述纳米定位器2上设置有操作探针3，操作探针3的末端与样品台4的台面相接触； 所述样品台4固定安装在样本腔体8的内侧壁上；该样品台4用于放置纳米线；

所述扫描电子显微镜1固定安装在样本腔体8上方居中的位置上，该扫描电子显微镜 1的镜头朝向样本腔体8内，该扫描电子显微镜1用于采集操作探针3针尖所在区域的图 像；

所述触觉主手Omega.35通过USB接口与上位机7连接，上位机7通过串口与纳米定 位控制器6连接；纳米定位控制器6通过通讯线与样本腔体8内的纳米定位器2连接；

扫描电子显微镜1的图像信息输出端连接上位机7的图像信息输入端；

上位机7将图像信息处理后发送位置与力控制信息至触觉主手Omega.35；

触觉主手Omega.35的主手位置信息信号输出端连接上位机7的主手位置信息信号输 入端；

上位机7的位置控制指令信号输出端连接纳米定位控制器6的位置控制指令信号输入 端；

纳米定位控制器6的位置信号输出端连接纳米定位器2的位置信号输入端。

具体实施方式二：下面结合图1说明本实施方式，本实施方式为对实施方式一的进一 步说明，本实施方式所述的纳米定位器2是采用Attocube实现的。

具体实施方式三：下面结合图1说明本实施方式，本实施方式为对实施方式一的进一 步说明，本实施方式所述的所述纳米定位控制器6是采用ANC150实现的。

具体实施方式四：下面结合图1说明本实施方式，本实施方式所述的一种基于扫描电 子显微镜的虚拟力反馈遥纳操作平台实现虚拟力觉交互的方法，其特征在于：该控制方法 为：

步骤一、在上位机7上，在VC++2008环境下，利用触觉主手Omega.35的配套二次 开发软件Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境；

步骤二、将纳米线放置在样品台4上，然后通过碰撞检测算法对虚拟环境中的操作探 针3的位置和其所在的虚拟环境进行碰撞检测：

首先应用层次包围盒法在操作探针3外设置包围盒，若操作探针3的包围盒未与纳米 线和样品台4未发生碰撞则不做判断；

若操作探针3的包围盒发生碰撞，则开始进入碰撞检测循环序列当中：

碰撞检测循环序列纳米操作碰撞检测分为：操作探针3与样品台4之间的纳米操作碰 撞检测、纳米线与样品台4之间的纳米操作碰撞检测及操作探针3与纳米线之间的纳米操 作碰撞检测三部分；

操作探针3与样品台4之间的纳米操作碰撞检测为：先判断操作探针3的包围盒与样 品台4是否发生碰撞，若否，则不做任何动作；

若是，则继续判断操作探针3与样品台4是否发生碰撞，若否，则不做任何动作；

若是，则将检测到碰撞的反馈力反馈给上位机7；

纳米线与样品台4之间的纳米操作碰撞检测为：应用层次包围球法在纳米线外设置包 围球；

先判断纳米线的包围球与样品台4是否发生碰撞，若否，则不做任何动作；

若是，则继续判断纳米线与样品台4是否发生碰撞，若否，则不做任何动作；

若是，则将检测到碰撞的反馈力反馈给上位机7；

操作探针3与纳米线之间的纳米操作碰撞检测为：

先由上位机7采集通过扫描电子显微镜1获得的操作探针3的几何参数，建立操作探 针3的锥体模型，根据现有数据填充适合锥体的包围球结构，执行操作探针3的包围球结 构与纳米线的包围球结构之间的碰撞检测：先判断操作探针3的包围盒与纳米线是否发生 碰撞，若否，则不做任何动作；

若是，则，采用叠前球心排列的方法对操作探针3和纳米线进行骨骼球填充，执行操 作探针3的骨骼球与纳米线的骨骼球结构之间的碰撞检测，若否，则不做任何动作；

若是则将检测到碰撞的反馈力反馈给上位机7；

步骤三、上位机7通过力觉渲染算法和Chia3d力觉渲染引擎实现对步骤二的操作探 针3与样品台4之间的纳米操作碰撞检测、纳米线与样品台4之间的纳米操作碰撞检测及 操作探针3与纳米线之间的纳米操作碰撞检测所获得的反馈力的力觉渲染，并将渲染后的 反馈力的数据反馈到触觉主手Omega.35，实现虚拟力觉交互。

具体实施方式五：下面结合图1说明本实施方式，本实施方式为对实施方式四的进一 步说明，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟 力觉交互的方法，步骤一中，在上位机7上，在VC++2008环境下，利用触觉主手Omega.3 的配套二次开发软件Chia3d，联合3Ds MAX和OpenGL开发虚拟三维纳米操作环境的具体 实现方法为：

在3DsMax中通过管型工具绘制三维管型模型，通过软件导出功能导出该管型模型的 3ds文件待Chai3d调用；Chai3d程序调用管型模型的3ds文件，并将其属性设置为骨骼 模型；用OpenGL函数直接绘制导出的3ds文件中的顶点形成网格，并生成网格模型，通 过编辑实现几何的形变，得到虚拟三维纳米操作环境。

具体实施方式六：下面结合图1说明本实施方式，本实施方式为对实施方式四的进一 步说明，本实施方式所述的一种基于扫描电子显微镜的虚拟力反馈遥纳操作平台实现虚拟 力觉交互的方法，步骤三中的力觉渲染算法为：将操作探针3的骨骼球和纳米线的骨骼球 作为原子，将样品台4看成一个无限大的平面，通过计算原子与无限大平面和原子之间的 作用力来进行力觉渲染。

本发明的工作原理：

本发明基于扫描电子显微镜SEM和纳米定位器，通过力觉反馈主手控制所开发的三维 虚拟纳米操作环境中的操作从手-纳米定位器，根据平台所提供的虚拟力觉反馈信息和三微 虚拟及二维实际视觉信息进行虚拟纳米操作，在虚拟操作成功后，通过串口控制实际纳米 操作平台进行相应的动作，提高了纳米操作的成功率。该平台避免了高成本、难加工、适 应性差的纳米力觉传感器的使用，降低了操作成本。通过具有力觉临场感的纳米操作方法 可实现高效、灵活、稳定的可视化三维纳米操作，有利于纳米操作的实用化。

本发明通过以下技术方案实现：

在VC++2008环境下，利用触觉设备Omega.3的配套二次开发软件Chia3d，联合3Ds MAX 和OpenGL实现开发虚拟纳米操作环境。虚拟纳米操作对象(以纳米线为代表)和操作探针3 采用3DsMax与骨骼填充方法进行建模。在3DsMax中通过管型工具绘制三维管型模型，通 过软件导出功能导出该管型模型的3ds文件待Chai3d调用。由Chai3d程序调用建好的管 型3ds模型，并将其属性设置为骨骼模型。骨骼的作用在于方便计算操作点与物体各个部 分的碰撞检测，并通过骨骼球之间力键的作用产生形变，为虚拟纳观力的加载提供了便利 条件。用OpenGL函数直接绘制导出的3ds文件中的顶点形成网格并生成网格模型，通过编 辑实现几何的形变。从而实现虚拟三维视觉的动态交互。三维视觉动态交互模型如图2所 示。

通过碰撞检测算法对虚拟环境中的操作探针3(与实际平台的触觉主手Omega.3对应) 的位置和虚拟环境进行碰撞检测，然后通过力觉渲染算法和Chia3d力觉渲染引擎实现力觉 渲染后反馈到触觉设备Omega.3实现虚拟力觉交互。在纳米操作过程中加入力觉临场感的 人机交互操作方法，增加纳米操作过程的可控性，降低平台的操作成本。

针对本控制系统中的纳米线单一模型，碰撞检测算法基于虚拟的骨骼球模型，采用层 次包围盒法实现。操作探针3与纳米线的碰撞检测判断一般情况下均为动态模型检测，其 判断要更为复杂，使判断难度大大增加。因此将纳米操作的碰撞检测分为操作探针3与样 品台4、纳米线与样品台4及操作探针3与纳米线之间三部分，分别进行碰撞检测然后进 行整合。整合流程图如图3所示。首先将操作探针3加入包围盒判断，若操作探针3的包 围盒未发生碰撞则无任何深入判断；若判断出与样品台4(平面)或纳米线(有向包围盒)发 生碰撞，则开始进入碰撞检测循环序列当中。这时若检测到是样品台4，执行操作探针3 与样品台4的碰撞检测算法；若检测到是纳米线，这时操作探针3将划分为包围球结构来 与纳米线的包围球结构进行碰撞检测。由于纳米线的包围盒与样品台4的碰撞检测算法占 系统资源较少，它们始终在进行包围盒与平面的碰撞检测判断，但不做任何动作，仅当操 作探针3与纳米线发生了碰撞才更深入的检测纳米线的层次包围球与平面的碰撞检测。操 作探针3的几何参数通过SEM下已经获得，并建好了锥体模型，根据现有的数据填充适合 锥体的包围球结构可以实现操作探针3与纳米线之间的相交检测。本发明根据操作探针3 的具体情况和试验比较结果，最后采用叠前球心排列的方法对操作探针3进行骨骼球填充， 这种方法既不像按直径排列，遗漏很多填充空间；也不像叠后球心排列，具有较为麻烦的 排列顺序和较大的运算量。

力觉渲染算法将操作探针3和纳米线的骨骼球看作原子，将操作样品台4看成一个无 限大的平面，通过计算原子与无限大平面和原子之间的作用力来进行力觉渲染。纳米线形 变的力键表达通过将纳米线内部的力键看作弹簧，而力键的值就相当于弹簧的弹性系数与 拉伸关系的乘积。当力键平衡发生变化时，力键产生恢复平衡状态的能量，球体将受到力 键的反作用力。由于其它外力力键将再次达到平衡，产生形变效果。

虚拟纳米操作成功后，再控制实际的纳米操作平台进行相应的动作，实现纳米操作过 程的预测预演。虚拟预测预演系统可控制实际纳米操作过程的单步随动或离线运动。在SEM 的真空干燥操作环境下进行纳米操作，可实现实际纳米操作过程图像的实时反馈。

虚拟环境中的纳米操作实现后，通过串口控制实际纳米操作过程，实现纳米操作的远 距离控制，即遥操作。

本发明不局限于上述实施方式，还可以是上述各实施方式中所述技术特征的合理组合。