文章信息
- 范钦红, 张景威, 于三甲, 常志鹏, 黄桂平, 贾晓杰, 唐琴琼
- FAN Qinhong, ZHANG Jingwei, YU Sanjia, CHANG Zhipeng, HUANG Guiping, JIA Xiaojie, TANG Qinqiong
- 组合视觉测量技术应用于大型船舶曲板尺寸检验
- Dimensional inspection of curved plates of large ships based on combined visual measurement technigue
- 中国测试, 2024, 50(8): 94-100
- CHINA MEASUREMENT & TEST, 2024, 50(8): 94-100
- http://dx.doi.org/10.11857/j.issn.1674-5124.2024030074
-
文章历史
- 收稿日期: 2024-03-18
- 收到修改稿日期: 2024-06-14
2. 郑州辰维科技股份有限公司,河南 郑州 450001;
3. 河南省计量测试科学研究院,河南 郑州 450000;
4. 四川省产业计量测试研究院,四川 成都 610052
2. Zhengzhou ChenWay Technology Co., Ltd., Zhengzhou 450001, China;
3. Henan Province Institute of Metrology, Zhengzhou 450000, China;
4. Sichuan Provincial Institute of Industrial Measurement and Test, Chengdu 610052, China
船舶曲板的制造是船舶生产的重要环节,其中船舶曲板成形又是船舶外板建造的关键工序,目前国内很多船厂使用水火弯板工艺加工复杂曲度的船舶外板[1-2],该工艺采用手工固定半径模具与被测工件进行接触式测量,测量效率低、精度低。随着我国造船业的迅猛发展,手工测量的效率已不能满足日益增长的造船需求。
基于视觉的摄影测量技术因其测量精度高、非接触等优点,在工业测量中有着广泛应用[3-7]。国内外很多学者运用视觉测量技术对船舶曲板的数字化测量做了很多研究,SHIN J G[8]将线结构光视觉测量系统安装在三轴平移机构上,通过立体视觉技术实现对成形曲板的在位测量,该方法测量范围大,自动化程度高,但该方法对平移台的精度要求较高,单次只能对单条光线进行测量,且在测量过程中需进行大量的坐标转换等数据处理工作;HEO E C[9]将多条结构光同时投影至成形曲板上,实现多条结构光的同步测量,无需采用移动机构进行扫描,测量效率较高,但是该方法的测量范围较小,只能测量尺寸较小的船舶曲板;国内上海交通大学的王振兴[10]利用基于结构光的双目立体视觉技术对船舶曲板进行在位测量,开发了一套面向船舶曲板成形在位测量的双目立体视觉测量传感器,对双目立体视觉的结构参数进行优化,测量场景达到2000 mm×
针对传统的大型船舶曲板使用固定半径模具进行接触式测量的方法效率低、测量精度低的问题,以及已有的视觉影测量技术测量船舶曲板需要精密的位移机构或测量范围小的问题,本文提出一种将两套双目视觉测量系统与光学投点器联合使用的组合视觉测量方法,在大型曲板测量中,组合视觉测量系统作为一个整体可移动至测量区域的不同位置,得到被测曲板不同区域的数据通过全局地面控制场进行拼接。因此被测曲板的尺寸不受限制,且该方法方便快捷、适用性好。通过对高
本文将光学投点器、两套双目视觉测量系统集成为一套组合视觉测量系统,使用光学投点器向曲板投射光学靶点代替视觉测量传统粘贴标志点的方法[12-13],可以实现曲板的非接触式测量。两套双目视觉测量系统,其中视觉测量系统1对曲板上投射的光学靶点进行测量,视觉测量系统2用于实现组合视觉系统的定位定姿,移动组合视觉系统至不同的位置对曲板进行分区域测量,最后通过视觉测量系统2的定位定姿数据对分区域测量数据进行坐标系统一,无需再用精密的平移机构辅助测量,测量过程更为灵活。组合视觉测量系统如图1,实际的研制设备见图2。
组合视觉测量的基本思想是分区域测量,然后进行拼接,测量前需对组合视觉系统进行标定,确定组合视觉系统内各设备之间的关系,并在被测区域布设地面控制场,用于组合视觉测量系统定位定姿并实现数据拼接。其主要测量过程如下:
1) 光学投点器向曲板表面投射光学靶标,视觉测量系统1采集光学靶标的图像,数据处理计算得到投射的光学靶标点的三维坐标,其测量原理见文献[12,13];
2) 视觉测量系统2对地面控制场内标志点进行摄影成像,确定组合视觉测量系统在地面控制场坐标系的位置与姿态;
3) 移动组合视觉系统至下一位置i(i=1,
基于组合视觉测量技术的大型船舶曲板尺寸检验涉及到的关键技术包括组合视觉测量系统标定和拼接测量。
1.2.1 组合视觉系统标定组合视觉系统标定涉及的坐标系包括:视觉测量系统1坐标系
两套视觉测量系统已定向[14],若视觉测量系统1视场内任一点P,在全局坐标系
$ \left[ {\begin{array}{*{20}{c}} {{X_{C{\text{1}}}}} \\ {{Y_{C{\text{1}}}}} \\ {{Z_{C{\text{1}}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_{W{\text{2}}}}}&{{{\boldsymbol T}_{W{\text{2}}}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{W{\text{1}}}}} \\ {{Y_{W{\text{1}}}}} \\ {{Z_{W{\text{1}}}}} \\ 1 \end{array}} \right] $ | (1) |
$ \left[ {\begin{array}{*{20}{c}} {{X_{C2}}} \\ {{Y_{C2}}} \\ {{Z_{C2}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_{W2}}}&{{{\boldsymbol T}_{W{\text{2}}}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{W2}}} \\ {{Y_{W2}}} \\ {{Z_{W2}}} \\ 1 \end{array}} \right] $ | (2) |
式中:
假如RP,TP为
$\begin{split} \left[ {\begin{array}{*{20}{c}} {{X_{W{\text{2}}}}} \\ {{Y_{W{\text{2}}}}} \\ {{Z_{W{\text{2}}}}} \end{array}} \right] =& {\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_{W{\text{2}}}}}&{{{\boldsymbol T}_{W{\text{2}}}}} \end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_P}}&{{{\boldsymbol T}_P}} \end{array}} \right]\\ &\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_{W1}}}&{{{\boldsymbol T}_{W1}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{W{\text{1}}}}} \\ {{Y_{W{\text{1}}}}} \\ {{Z_{W{\text{1}}}}} \end{array}} \right] \end{split} $ | (3) |
从 式(3)可看出,如果每套视觉测量系统可至少拍摄全局坐标系中的 3个点,首先根据式(1)、式(2)可确定两套视觉测量系统在全局坐标系中的位姿参数
基于以上标定原理,组合视觉测量系统内两套视觉测量系统测量对象不一致,其视场无公共区域,根据两套视觉测量系统的视场范围建立一个L型标定控制场,在控制场内布设摄影测量标志点,使用高精度的单目视觉测量系统对 L型标定控制场内摄影标志点进行测量[14],得到控制场内摄影标志点在全局坐标系
组合视觉测量系统标定只需进行一次,后续如没有强烈影响标定参数变化的外界条件 ,该标定结果都可以作为已知值重复使用。
1.2.2 拼接测量本文中拼接测量的原理同组合视觉系统的标定,组合视觉系统的标定是将两套双目视觉系统坐标系统一至一个坐标系,拼接测量是将曲板测量过程中不同测量位置处组合视觉系统测量的曲板数据统一至一个坐标系。
拼接测量[16]涉及的坐标系有全局坐标系
在测量区域地面布设地面控制点并进行测量[14],得到地面控制点在全局坐标系下的坐标。在测量位置1处,使用组合视觉测量系统(视觉测量系统1)对曲板表面的光学靶点进行拍照测量,同时使用组合视觉测量系统(视觉测量系统2)测量地面控制场,得到曲板表面光学靶点及地面控制点在测量位置1处组合视觉系统测量坐标系下坐标分别为(
$ \left[ {\begin{array}{*{20}{c}} {{X_{\text{1}}}} \\ {{Y_{\text{1}}}} \\ {{Z_{\text{1}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_{W1}}}&{{{\boldsymbol T}_{W1}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol R}_P}}&{{{\boldsymbol T}_P}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{S{\text{11}}}}} \\ {{Y_{S{\text{11}}}}} \\ {{Z_{S{\text{11}}}}} \end{array}} \right] $ | (4) |
同理,可将不同测站i的曲板表面数据都统一至全局坐标系
本文将组合视觉测量技术应用到某高
本试验中组合视觉测量系统由4台高精度的工业测量相机(分辨率为
控制机柜主要功能是控制4台工业相机进行同步数据采集、为相机和光学投点器供电、向光学投点器发出同步信号,软件用于实现设备的连接、设备控制、数据采集及数据分析。
2.2 实验过程第一步:测量控制场的布设
在曲板测量区域的地面上布设约100个控制点,均匀分布在整个测量区域,同样使用辰维科技的CIM-3[17-18]相机(测量距离≤4 m时,测量准确度最高可达0.015 mm,测量距离>4 m时,测量准确度为3 μm+3×10-6m),对地面控制点进行摄影测量,地面控制点的测量精度决定了点云数据的拼接精度;
第二步:曲板表面点云数据采集:
移动组合视觉测量系统至距曲板约2.5 m的位置处,使用定制软件控制光学投点器向曲板表面投射光学靶点,同时控制2套双目视觉测量系统分别对曲板上的光学靶点以及地面控制点进行测量,每套双目视觉测量系统拍摄一次可得到测量范围约为3.8 m×2.5 m,为了保证数据采集的完整性,整个曲板的测量过程中组合视觉测量系统共移动了4个位置,这4个位置采集的曲板数据依靠已知的地面控制点进行坐标系转换完成拼接,共采集了约8万个点云数据(如图7)。
2.3 实验结果与分析 2.3.1 曲板型面拟合RMS
使用组合视觉测量的方法,将所有测得的曲板点云数据进行最小二乘法进行圆柱拟合(拟合时固定圆柱半径),计算所有点云数据相对于理论圆柱的型面偏差RMS;对曲板进行了9次重复测量,得到9个型面拟合RMS值。
使用辰维科技的CIM3相机对该曲板表面进行多摄站交会测量,对采集的曲板数据进行圆柱拟合得到型面偏差RMS值为2.891 mm,将组合视觉测量的RMS值与CIM3相机测量分析得到RMS值进行比较。RMS值测量结果如表1所示,图8为重复测量RMS值的统计曲线。
mm | ||
测量次数 | 组合视觉方法得到的 型面偏差RMS |
组合视觉方法与单目视觉得到的 型面偏差RMS差值绝对值 |
1 | 2.788 | 0.103 |
2 | 2.694 | 0.197 |
3 | 3.002 | 0.111 |
4 | 2.982 | 0.091 |
5 | 2.834 | 0.057 |
6 | 2.789 | 0.102 |
7 | 2.817 | 0.074 |
8 | 2.903 | 0.012 |
9 | 2.768 | 0.123 |
从表1给出的使用组合视觉方法采集的数据进行型面拟合得到的RMS值与单目视觉方法得到的型面拟合RMS值的差值优于0.2 mm;图8中测量值箱线图分布及测量误差核密度曲线表明,本文所提测量方法结果离散度小,测量值集中,测量重复性好。
2.3.2 曲板弧长测量采用使用传统的手工测量(皮尺测量)和组合视觉测量的方法对曲板弧长进行多次重复测量,其弧长测量结果如表2所示,图9为重复测量弧长值的统计曲线。
mm | ||||
测量次数 | 组合视觉测量 实测值 |
组合视觉测量与 理论值差值 |
手工测 量值 |
手工测量值与 理论值差值 |
1 | –0.266 | –0.5 | ||
2 | –0.148 | 0.0 | ||
3 | –0.492 | –0.5 | ||
4 | –0.073 | –0.5 | ||
5 | 0.113 | 1.0 | ||
6 | –0.437 | 0.5 | ||
7 | 0.167 | –1.0 | ||
8 | 0.124 | 1.0 | ||
9 | –0.485 | 0.5 |
从表2给出的使用组合视觉方法与手工测量方法对弧长测量结果可以看出,组合视觉方法其精度明显优于手工测量方法计算的结果,测量误差绝对值小于0.5 mm。比较本文所提组合视觉测量和手工测量方法多次重复测量结果,图9中测量值箱线图分布及测量误差核密度曲线表明,本文所提测量方法结果离散度更小,测量值更为集中,测量重复性更好。且测量效率较高,整个数据采集与计算的过程约8 min,较传统手工测量方法效率提高80%。
2.4 误差分析组合视觉测量系统的测量误差主要来源于三个方面:组合测量系统的系统误差、组合视觉系统的标定误差、不同摄站数据的拼接误差。
其中系统误差主要取决于两套双目视觉测量系统的测量误差,该项误差主要由双目视觉测量原理中的相机的分辨率、像素尺寸、像点图像识别与处理精度、摄影基线、测量距离有关,黄桂平[14]对双相机精度估计有详细的分析。本文采用的两套双目视觉测量系统单站最大测量误差为±0.04 mm,在组合视觉系统中受基线长度的限制,测量误差会相对增加。
组合视觉系统的标定误差主要由标定控制场的测量误差及摄影测量后方交会误差决定,标定控制场由单目视觉系统进行测量,本文中使用的CIM3相机测量,根据标定控制场的范围,标定控制场的测量误差约为±0.02 mm,单目视觉后方交会的误差来源文献[19]有详细的分析。
组合视觉系统的拼接测量,是基于摄影测量的全局控制场拼接方法,测量过程中将每个位置下测量的曲板表面点云和地面控制点与全局坐标系下的地面控制点进行匹配,计算局部曲板表面点云和地面控制点到全局坐标系的转换关系,实现全局曲板表面点云数据的拼接,这种方法有效减少了累计误差的影响。且地面控制场标志点数量较多,不同摄站测量数据与地面控制场全局坐标进行匹配时,有效提高匹配精度,从而减少了拼接误差。所以拼接测量的误差主要由地面控制场的测量误差、组合视觉测量系统的位置测量误差决定。本文中地面控制场的测量误差根据测量范围约为±0.027 mm,组合视觉测量系统的位置测量误差也即后方交会误差。
3 结束语文中对大型船舶曲板的尺寸测量提出基于两套双目视觉测量系统与光学投点器相结合的组合视觉测量方法,完成对曲板外形点云数据的快速提取及数据分析,实现了非接触、快速测量。该方法对曲板的尺寸没有限制,用控制场的测量方法适用性较好,可进行曲板的批量测量。
测量结果表明组合式视觉测量的方法能够满足实际的测量需求,多次重复测量结果离散度小于手工测量方法,测量值更为集中,且测量效率有了较大的提高,可以取代传统的测量方法,实现对工件的数字化测量。
在大型工业产品如大型天线、汽车、大型钢结构、电机叶片等在制造及安装过程中,其几何尺寸测量一般具有尺寸大、测量精度要求高等特点,本文中的组合视觉测量系统因标定简单,可在测量区域任意移动进行测量,适用性较强,可在大尺寸工业产品中进行推广使用。
[1] |
胡得林, 胡勇, 于洋, 等. 大尺寸船体曲板摄影测量方法研究[J]. 武汉理工大学学报(交通科学与工程版), 2022(4): 46.
HU D L, HU Y, YU Y, et al. Research on photogrammetric method of large-size curved hull plate[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2022 (4): 46.
|
[2] |
张涵. 船舶典型曲板线加热成型路径规划及其工艺参数选取方法研究[D]. 武汉: 华中科技大学, 2022.
ZHANG H. Research on line heating path planning and process parameters election method for forming typical curved plates of ships[D]. Wuhan: Huazhong University of Science and Technology,2022.
|
[3] |
张祖勋, 郑顺义, 王晓南. 工业摄影测量技术发展与应用[J]. 测绘学报, 2022, 51(6): 843-853.
ZHANG Z X, ZHENG S Y, WANG X N. Development and application of industrial photogrammetry technology[J]. Acta Geodaetica et Cartographica Sinica. 2022, 51(6): 843-853.
|
[4] |
黄桂平, 吕传景, 王伟峰. 工业摄影测量技术发展及其在航空制造中的应用[J].
航空精密制造技术, 2017, 53(2): 5-8.
HUANG G P, LV C J, WANG W F. Application of industrial photogrammetry technology and its development in aeronautical manufacturing[J].
Aviation Precision Manufacturing Technology, 2017, 53(2): 5-8.
DOI:10.3969/j.issn.1003-5451.2017.02.003 |
[5] |
康杰虎, 曹江萍, 黄桂平, 等. 基于结构光技术的高温锻件三维尺寸实时在位测量系统[J].
中国测试, 2023(S2): 49.
KANG J H, CAO J P, HUANG G P, et al. Real-time in-situ measurement system for three-dimensional size of high-temperature forgings based on structured light technology[J].
China Measurement & Test, 2023(S2): 49.
|
[6] |
胡成放, 丁昊昊, 陈德君, 等. 基于双目视觉的列车轮对表面缺陷及型面参数检测方法[J/OL]. 中国测试: 1-9[2024-05-15].
HU C F, DING H H, CHEN D J, et al. Inspection method for surface defect and shape parameter of train wheelset based on binocular vision[J/OL]. China Measurement &Test, 1-9[2024-05-15].
|
[7] |
申旭, 马开锋, 黄桂平, 等. 卫星天线高低温热变形测量技术综述[J].
航天器环境工程, 2022, 39(3): 306-315.
SHEN X, MA K F, HUANG G P, et al. Review of technologies for measuring thermal deformation of satellite antenna at high and low temperatures[J].
Spacecraft Environment Engineering, 2022, 39(3): 306-315.
|
[8] |
SHIN J G, RYU C H, NAM J H. A comprehensive line-heating algorithm for automatic formation of curved shell plates[J]. Journal of Ship Production, 2004, 20(2): 69: 78.
|
[9] |
HEO E C, KWON M C, KIM B C. Large free form measurement using slit beam[C]. International Conference on Control, Automation and Systems, 2008: 1224-1227.
|
[10] |
王振兴. 船舶曲板成形双目立体视觉在位检测技术研究[D]. 上海: 上海交通大学, 2017.
WANG Z X. Research on an onsite inspection of formed hull plates based on binocular Stereovision[D]. Shanghai: Shanghai Jiao Tong University, 2017.
|
[11] |
赵亮. 基于计算机视觉的船体曲板检测技术研究[D]. 武汉: 武汉理工大学, 2023.
ZHAO L. Research on detection technology of curved hull plate based on computer vision[D]. Wuhan: Wuhan University of Technology, 2023.
|
[12] |
轩亚兵. 工业摄影测量中光学投点器的性能研究与应用[D]. 郑州: 华北水利水电大学, 2017.
XUAN Y B. Performance research and application of optical targets projector for industrial photogrammetry[D]. Zhengzhou: North China University of Water Resources and Electric Power, 2017.
|
[13] |
黄高爽, 黄桂平, 肖利峰,等. 基于光学靶标的天线型面高精度摄影测量[J].
空间电子技术, 2019, 16(5): 67-70.
HUANG G S, HUANG G P, XIAO L F, et al. High-precision photogrammetry of antenna profile based on optical target[J].
Space Electronic Technology, 2019, 16(5): 67-70.
|
[14] |
黄桂平. 数字近景工业摄影测量理论, 方法与应用[M].北京:科学出版社, 2016.
HUANG G P. Digital close-range industrial photogrammetry theory, method and application[M].Beijing: Science Press, 2016.
|
[15] |
徐秋宇, 杨凌辉, 牛志远, 等. 精密角度基准下的多相机定位系统高精度标定[J].
光学学报, 2019(1): 9.
XU Q Y, YANG L H, NIU Z Y, et al. High-accuracy calibration of multi-camera positioning system based on precision angle reference[J].
Acta Optica Sinica, 2019(1): 9.
|
[16] |
王锴磊, 鲍晨兴, 郭力振, 等. 大范围视觉转站测量技术研究[J]. 中国测试, 2023(S1): 145-150.
WANG K L, BAO C X, GUO L Z, et al. Research on large-scale visual transfer station measurement technology, China Measurement & Test, 2023(S1): 145-150.
|
[17] |
轩亚兵, 王伟峰, 高亚伟, 等. 国产工业摄影测量相机精度测评[J].
宇航计测技术, 2015, 35(4): 14-18.
XUAN Y B, WANG W F, GAO Y W, et al. Accuracy test of domestic industrial photogrammetric camera[J].
Journal of Astronautic Metrology and Measurement, 2015, 35(4): 14-18.
DOI:10.3969/j.issn.1000-7202.2015.04.007 |
[18] |
CIM系列智能工业摄影测量相机介绍[EB/OL]. http://www.chenway.cn/index.php?m=home&c=View&a=index&aid=262.
|
[19] |
张杰, 范生宏, 刘昌儒, 等. 空间后方交会精度分析及实验验证[J].
无线电工程, 2015, 45(12): 59-63.
ZHANG J, FAN S H, LIU C R, et al. Analysis and verification of single image space resection precision[J].
Radio Engineering, 2015, 45(12): 59-63.
DOI:10.3969/j.issn.1003-3106.2015.12.16 |