海洋科学  2018, Vol. 42 Issue (1): 39-44   PDF    
http://dx.doi.org/10.11759/hykx20171011004

文章信息

李忠强, 王瀚宇, 刘婷婷, 胡斌. 2018.
LI Zhong-qiang, WANG Han-yu, LIU Ting-ting, HU Bin. 2018.
基于Pix4Dmapper的无人机数据自动化处理技术探讨
Investigation of Pix4Dmapper automatic data-processing technology in unmanned aerial vehicles
海洋科学, 42(1): 39-44
Marina Sciences, 42(1): 39-44.
http://dx.doi.org/10.11759/hykx20171011004

文章历史

收稿日期:2017-10-11
修回日期:2017-11-30
基于Pix4Dmapper的无人机数据自动化处理技术探讨
李忠强1,2, 王瀚宇1,2, 刘婷婷1,2, 胡斌1,2     
1. 国家海洋局 北海海洋技术保障中心, 山东 青岛 266033;
2. 山东省海洋生态环境与防灾减灾重点实验室, 山东 青岛 266033
摘要:无人机遥感由于具有机动灵活性高、时效性强、分辨率高、成本低等优点, 广泛应用于各个领域。但由于无人机本身的特性和传统数据处理技术的局限性, 使得无人机数据处理成为无人机应用的最大难题, 作者结合Pix4Dmapper软件就无人机数据自动化处理技术方法进行探讨, 开展无人机遥感数据的空三计算、平差计算与正射校正和镶嵌自动处理技术研究, 实现无人机数据快速拼接与校准, 制作正射影像图, 为无人机数据的快速自动化处理提供技术支持。
关键词无人机数据    快速自动化    
Investigation of Pix4Dmapper automatic data-processing technology in unmanned aerial vehicles
LI Zhong-qiang1,2, WANG Han-yu1,2, LIU Ting-ting1,2, HU Bin1,2     
1. North China Sea Marine Technical Support Center, SOA, Qingdao 266033, China;
2. Shandong Provincial Key Laboratory of Marine Ecology and Environment & Disaster Prevention and Mitigation, Qingdao 266033, China
Abstract: Remote sensing by unmanned aerial vehicles (UAVs) is widely used in various fields due to of its advantages of high mobility, timeliness, high resolution, and low cost. However, due to the characteristics of UAVs and the limitations of traditional data-processing technology, UAV data processing has become a major problem in UAV applications. In this paper, we discuss the combination of UAV automatic data-processing technology with Pix4Dmapper software, and apply this concept to actual work. We investigate the use UAV remote sensing data in aerial triangulation computation, adjustment calculations, orthophoto corrections, and mosaic automatic processing technology. The results show that UAV data are quickly stitched and calibrated and an orthophoto map generated, which technically supports the rapid and automatic processing of UAV data.
Key words: UAV data    fast automation    

无人机(Unmanned Aerial Vehicle, UAV)遥感是航空遥感的一种重要方式, 并且日益成为一项空间数据获取的重要手段, 其具有快速、机动、灵活、高影像分辨率、影像实时传输、高危地区探测、成本低等优点[1], 是卫星遥感与有人机航空遥感的有力补充。近年来, 无人机在军事和民用方面都得到了快速的发展, 引起了诸多科研单位的重视, 无人机遥感成为发展的一种趋势[2], 因此无人机影像的快速处理和信息提取也显得越来越重要了。无人机影像数据又不同于传统有人航空遥感影像数据, 由于无人机飞行环境的复杂性以及飞行的不稳定性, 导致无人机数据的片子数量多、较多人工干预、精度不高、处理的速度慢、无导航定位与姿态测量系统(Position Orientation System, POS)与惯性测量单元数据(Inertial Measurement Unit, IMU)或者不准确、多架次或不同相机获取的数据无法同时处理、结果有拉花现象、无法充分利用硬件资源等特点, 利用传统的空中三角测量方法的航空影像数据处理流程进行无人机数据处理比较困难。由于无人机本身特性和传统处理技术的局限, 使得无人机数据处理成为无人机应用中最大难题, 所以无人机影像数据处理成为亟待解决的问题。

无人机影像处理不能完全采用传统的航空摄影流程和处理方法。现阶段无人机影像处理的基本流程大多采用传统遥感数据处理方法:进行影像配准后再进行空三计算、平差处理与几何校准处理, 最后进行影像镶嵌与正射校正处理。这样处理的结果精度比较高, 但同时对原始数据的要求也较高, 需要有高精度的姿态参数和控制点数据[3-4]。无人机影像的快速匹配、拼接和纠正处理技术可分为两类:一是在不需要地面控制点的情况下, 对已有影像配准后进行拼接和纠正处理, 由于没有考虑投影差对影像拼接的影响, 使拼接误差较大, 同时没有影像间尺度的变化[5-10]; 二是针对无人机影像特点参照传统的摄影测量流程进行处理, 这样的处理结果精度较高, 但同时需要有高精度的姿态参数和地面控制点, 出图周期长、不利于实时应用[8-16], 需要有专业知识的人员进行处理。

1 无人机数据处理技术与软件

无人机数据处理技术在没有专门处理系统和软件之前, 处理方法大部分是基于数字摄像技术, 利用无人机的原始影像数据、POS数据(GPS/IMU)与相机参数以及现场的控制点, 提取同名点, 然后进行空三计算, 生成数字地形模型(Digital Terrain Model, DTM), 然后进行影像正射校正, 最后进行正射影像镶嵌, 生成正射影像数字正射影像数据集(Digital Orthophoto Map, DOM)(图 1)。相关的软件有:徕卡公司推出的遥感及摄影测量系统ERDAS LPS、数字摄影测量网格(Digital Photogrammetry Grid, DPGRID)、INPHO摄影测量系统、Photomod摄影测量处理系统、MapMatrix数字摄影测量系统、法国的航空航天影像数据自动处理系统像素工厂(Pixel Factory, PF)。

图 1 LPS处理无人机数据操作流程 Fig. 1 LPS UAV data processing operations flow chart

航空航天影像数据自动处理系统像素工厂(简称:像素工厂)在处理无人机遥感影像时, 以像点、初始外方位元素和DEM构建共线条件方程, 实施基于物方匹配的连接点提取。利用密集的连接点构建自由网, 通过反复迭代、粗差剔除、空三优化技术, 形成稳健的自由网。导入地面控制点进行判读量测, 与自由网进行空三联合平差, 分析点位的残差, 使之符合成图精度。像素工厂直接利用空三结果和影像进行集群式、分布式并行自动化处理, 生成DSM、DOM和真正射影像[17]。PixelGrid是由中国测绘科学研究院自主研发的新一代数字摄影测量系统, 被誉为国产的“像素工厂”, 处理过程一般需要以下几步: (1)数据准备, 需要无人机原始影像数据、无人机相机参数、控制点、航线信息等; (2)畸变差校正, 利用相机参数对无人机影像数据进行主点及畸变差校正, 获得无主点偏移及畸变的航拍影像; (3)空三加密计算, 利用影像数据和相关参数, 进行影像内定向和同名点匹配, 进行区域平差解算, 完成空三加密计算; (4)DEM制作, 完成空三加密计算后, 进行DSM匹配、编辑以及滤波处理, 完成大区域DEM制作; (5)DOM制作, 对影像进行镶嵌、匀色、匀光处理, 然后进行正射校正处理, 制作DOM(图 2)[18]

图 2 传统无人机数据处理流程 Fig. 2 Data processing process of traditional UAV

传统的数字影像数据处理技术需要POS数据、地面控制点、无人机的相机参数等基础数据和校正数据, 利用POS外方位元素进行同名点提取和空三加密计算、平差计算、正射校正和镶嵌匀色过程都需要有专业航空摄影和遥感知识的专业人员进行处理, 无相关专业知识的人员处理比较困难, 使得无人机数据处理过程复杂、处理周期长, 严重限制了无人机的应用和数据快速处理的需求。

利用数字影像数据处理技术和处理系统处理无人机遥感数据, 需要数据质量和处理技术人员要求高, 增加了无人机航摄的技术难度, 需要无人机的详细的POS数据和地面控制点, 而且在后期数据处理中需要专业的测绘人员, 处理的时间周期也比较长, 这些都增加了无人机遥感快速反应和推广应用的难度。Pix4Dmapper无人机数据处理系统解决了无人机数据处理过程中的POS信息不准确或没有、处理速度慢、操作复杂、数据量大等问题, 实现了无人机数据处理的快速、自动化、专业化的高精度处理, 无需专业知识, 无需人工干预, 即可将数千张影像快速制作成专业的、精确的二维地图和三维模型。

2 Pix4Dmapper数据处理技术方法

Pix4Dmapper将空三计算、平差计算与正射校正和镶嵌等算法进行封装, 提供统一的数据输入接口, 进行后台自动计算后将结果返回输出, 无需专业知识, 无需人工干预操作, 实现无人机影像数据的快速处理, 制作正射影像地图和三维模型(图 3)。

图 3 Pix4Dmapper数据处理流程 Fig. 3 Data processing procedure Pix4dmapper

Pix4Dmapper自动从无人机原始影像数据EXIF中读取相机参数:相机型号、焦距、像主点等, 智能识别自定义相机参数; 不需IMU姿态信息, 自动读取原始影像数据的GPS位置信息; 基于影像数据内容利用内封的空三计算模型进行空三计算影像的真实位置和参数, 利用Pix4Dmapper的优化技术和区域网平差技术自动校正影像, 输出空三计算结果。Pix4UAV高级算法计算了原始影像每个像元的高程值, 生成三维点云, 以提高DEM和正射镶嵌结果的分辨率, 生成所有影像的正射校正结果, 并自动镶嵌及匀色, 将测区内所有数据拼接为一个大的影像, 纠正了所有视角的扭曲, 生成数字表面模型DSM(图 4)和DOM(图 5)以及瓦片数据。

图 4 DSM成果及三维模型 Fig. 4 DSM results and three-dimensional model

图 5 DOM成果 Fig. 5 DOM results
3 应用实例

应用案例是2017年9月份镆铘岛快速机动组网观测实验中无人机航测, 固定翼无人机搭载光学相机对镆铘岛领海基点及周边海域进行航测。

无人机航测线路如下(图 6):

图 6 航测轨迹 Fig. 6 Aerial survey trajectory

航测获取照片730张, 其中有效照片728张。利用Pix4Dmapper软件进行无人机原始影像数据的处理。首先对获取的照片进行挑选, 剔除无效照片, 对无人机的POS数据进行整理, 获取对应照片的有效的POS数据, 主要包括照片名称、经纬度、高度、俯仰角、航行、翻滚角等数据。

建立工程, 导入无人机原始影像数据, 若有POS数据就将POS数据导入, 若没有可不导入, Pix4Dmapper自动从无人机原始影像数据EXIF读取相机参数和GPS信息。

数据导入完成后, 会自动生成航迹图(图 7), 可查看航迹图的原始数据。

图 7 无人机数据轨迹 Fig. 7 UAV data trajectory

Pix4Dmapper经过初始化处理——点云及纹理——DSM、正射影像图及指数, 自动进行无人机数据的处理, 并输出质量报告。在计算过程中可以查看空三计算结果和空三报告、同名点提取等(图 8)。

图 8 空三射线与同名点 Fig. 8 Aerial triangulation rays and the same name point

最后可生成DSM、DOM数据(图 9)和质量报告(图 10)。

图 9 DOM数据 Fig. 9 DOM data

图 10 空三计算质量报告 Fig. 10 Report on quality of aerial triangulation calculation
4 小结

Pix4Dmapper软件作为专业化的无人机影像数据处理系统, 具有一键式的自动操作, 无需专业知识, 自动读取相机参数与相机自检校, 支持多源化数据(影像、视频), 输出数据成果丰富(正射影像图DOM、数字表面模型DSM、数字地面模型DEM、Google瓦片KML、三维模型OBJ、三维点云LAS/文本、空三结果和精度报告), 而且系统支持大数据量快速、专业精度处理, 具有自动化、智能化、快速等优点。

Pix4Dmapper软件与其他无人机数据处理系统相比较, 更具有专业化与针对性, 更好地适应无人机影像数据的处理, 将处理方法和算法进行内部封装, 提供输入输出接口, 减少用户复杂、繁琐的专业化操作, 提高用户可操作化与简单化以及提高系统自动化水平, 减少人工干预过程。因此在无人机应用方面解决了数据快速处理、专业化的难题, 能够满足用户无人机后期数据处理与信息提取的要求, 为无人机的广泛应用提供技术支持。

参考文献
[1]
韩杰, 王争. 无人机遥感国土资源快速监察系统关键技术研究[J]. 测绘通报, 2008, 2: 4-15.
Han Jie, Wang Zheng. On the key technique of fast monitoring system for land resources unmanned plane remote sensing[J]. Bulletin of Surveying and Mapping, 2008, 2: 4-15.
[2]
崔红霞, 孙杰, 林宗坚. 无人机遥感设备的自动化控制系统[J]. 测绘科学, 2005, 29(1): 47-49.
Cui Hongxia, Sun Jie, Lin Zongjian. Automatic control system of UAV remote sensing equipment[J]. Science of Surveying and Mapping, 2005, 29(1): 47-49.
[3]
崔红霞, 林宗坚, 孙杰. 大重叠度无人机遥感影像的三维建模方法研究[J]. 测绘科学, 2005, 30(2): 37-39.
Cui Hongxia, Lin Zongjian, Sun Jie. Research on three-dimensional modeling method for large overlap UAV remote sensing image[J]. Science of Surveying and Mapping, 2005, 30(2): 37-39.
[4]
王聪华. 无人飞行器低空遥感影像数据处理方法[D]. 济南: 山东科技大学, 2006: 5-19.
Wang Conghua. Data processing method for low altitude remote sensing image of unmanned aerial vehicle[D]. Jinan: Shandong University of Science and Technology, 2006: 5-19. http://cdmd.cnki.com.cn/Article/CDMD-10424-2006185324.htm
[5]
宫阿都, 何孝莹, 雷添杰, 等. 无控制点数据的无人机影像快速处理[J]. 地球信息科学学报, 2010, 12(2): 254-260.
Gong Adu, He Xiaoying, Lei Tianjie, et al. Fast image processing method of UAV without control data[J]. Journal of GeoInformation Science, 2010, 12(2): 254-260.
[6]
赵向阳, 杜利民. 一种全自动稳健的图像拼接融合算法[J]. 中国图象图形学报, 2004, 9(4): 417-422.
Zhao Xiangyang, Du Limin. An automatic and robust image mosaic algorithm[J]. Journal of Image and Graphics, 2004, 9(4): 417-422. DOI:10.11834/jig.20040480
[7]
王书民, 张爱武, 崔营营, 等. 基于无人飞艇数字摄影测量系统及航拍序列图像拼接[J]. 测绘科学, 2010, 35(4): 81-83.
Wang Shumin, Zhang Aiwu, Cui Yingying, et al. Digital, photogrammetry system based on unmanned airship and aerial image sequence stitching[J]. Science of Surveying and Mapping, 2010, 35(4): 81-83.
[8]
鲁恒, 李永树, 何敬, 等. 一种基于特征点的无人机影像自动拼接方法[J]. 地理与地理信息科学, 2010, 26(5): 16-19.
Lu Heng, Li Yongshu, He Jing, et al. An automatic mosaic method in unmanned aerial vehicle images based on feature points[J]. Geography and Geoinformation Science, 2010, 26(5): 16-19.
[9]
徐亚明, 邢诚, 陈晓东. 一种基于拼接线的无人机序列影像拼接方法[J]. 武汉大学学报:信息科学版, 2011, 36(11): 1265-1269.
Xu Yaming, Xing Cheng, Chen Xiaodong. A mosaic method for UAV sequence images based on seam line[J]. Geomatics and Information Science of Wuhan University, 2011, 36(11): 1265-1269.
[10]
苏俊英. SIFT特征匹配无人飞艇多光谱影像拼接[J]. 应用科学学报, 2010, 28(6): 616-620.
Su Junying. SIFT mosaicing of multiple spectrum images acquired from unmanned airship with SIFT feature matching[J]. Journal of Applied Sciences, 2010, 28(6): 616-620.
[11]
潘俊, 王密, 李德仁. 基于顾及重叠的面Voronoi图的接缝线网络生成方法[J]. 武汉大学学报(信息科学版), 2009, 34(5): 518-521.
Pan Jun, Wang Mi, Li Deren. Generation of seamline network using area Voronoi diagram with overlap[J]. Geomatics and Information Science of Wuhan University, 2009, 34(5): 518-521.
[12]
张剑清, 孙明伟, 张祖勋. 基于蚁群算法的正射影像镶嵌线自动选择[J]. 武汉大学学报(信息科学版), 2009, 34(6): 675-678.
Zhang Jianqing, Sun Mingwei, Zhang Zuxun. Automated seamline detection for orthophoto mosaicing based on ant colony algorithm[J]. Geomatics and Information Science of Wuhan University, 2009, 34(6): 675-678.
[13]
刘凤德, 邱懿. 基于左右正射影像的三维量测方法的研究[J]. 测绘科学, 2003, 28(3): 17-19.
Liu Fengde, Qiu Yi. 3D measurement based on orthoimage pair[J]. Science of Surveying and Mapping, 2003, 28(3): 17-19.
[14]
杨林, 张卡, 盛业华, 等. 数字图像的两种影像拼接方法及其比较[J]. 计算机应用研究, 2005, 5: 135-136.
Yang Lin, Zhang Ka, Sheng Yehua, et al. Two methods of digital image merging and their contrast[J]. Application Research of Computers, 2005, 5: 135-136.
[15]
李奇. 数字正射影像拼接的研究[J]. 地理空间信息, 2005, 3(1): 10-11.
Li Qi. Research of digital orthophoto maps mosaic[J]. Geospatial Information, 2005, 3(1): 10-11.
[16]
尤红建, 刘彤, 刘少创, 等. 利用3维成像仪快速生成遥感地学编码图像[J]. 测绘学报, 2000, 29(4): 324-328.
You Hongjian, Liu Tong, Liu Shaochuang, et al. Fast generating georeferenced image based on airborne 3D imager[J]. Acta Geodaetica et Cartographica Sinica, 2000, 29(4): 324-328.
[17]
邹晓亮, 廖剑, 张永生, 等. 基于像素工厂的无人机影像空三优化技术[J]. 测绘科学技术学报, 2012, 29(5): 362-367.
Zou Xiaoliang, Liao Jian, Zhang Yongsheng. Aerial triangulation optimization technique of UAV images based on pixel factory[J]. Science of Surveying and Mapping, 2012, 29(5): 363-367.
[18]
孙浩. 基于PixelGrid系统的无人机影像空三加密及影像图制作[J]. 测绘与空间地理信息, 2012, 35(8): 203-204, 207.
Sun Hao. UAV images aerial triangulation and image production based on pixelgrid system[J]. Geomatics & Spatial Information Technology, 2012, 35(8): 203-204, 207.