0 引　言

点云是一种三维的数据类型，其主要应用在机算机视觉、图形学和机器人学，得益于三维扫描和成像技术的快速发展，使得三维点云数据的获取更加简单，目前三维点云已经成为了三维模型重建和三维识别的主要数据来源^[1-2]。但是传统的三维点云特征提取主要依赖于人工手动提取^[3-7]，而在实际的工程应用中点云数据稀疏性等因素会影响点云特征提取的效果，使得三维点云感知识别算法的性能无法满足实际应用需求。随着深度学习技术的快速发展，基于深度学习的三维点云技术在特征提取上取得了很好的效果。与传统的提取方法不同，深度学习是通过卷积和多层神经网络直接从原始数据上学习有效特征，并且在大数据驱动模式下卷积神经网络展示出了强大且高效的学习能力^[8-9]，逐渐被应用在点云的分割和分类领域。近年来，在基于深度学习的三维数据识别与感知方法中^[10]，直接处理点云数据的深度学习方法越来越受到国内外学者的重视，并且提出的网络模型的准确率也在逐渐提高，逐渐成为国内外研究热点。由于点云数据的不规则性和无序性，为了避免三维点云数据在转换时出现错误，有研究提出了PointNet^[11-13]网络，该网络由多层感知机（MLP）与最大池化来直接提取点云数据中的抽象特征，该网络是直接处理点云数据方法的开端，它解决了在特征提取时因点云数据不规则性和无序性的缺点而带来的负面效果。PointNet的网络在构建时是很复杂的，为了能够降低模型的复杂度，白静等^[14]在PointNet网络的基础上提出了一个轻量级的LightPointNet网络，该网络去除了复杂的仿射变换网络，并对网络的卷积层和全连接层的参数使用控制变量法进行优化，最终的LightPointNet的网络模型只有三个卷积层、一个池化层和一个全连接层，该网络使用了更少的模型参数达到了不低于PointNet的识别准确率。上述的网络在进行特征提取时都是对点云逐点提取的，这种方法没有考虑点与点之间的对应关系，而且也忽略了点云的局部特征，导致网络对点云局部特征的描述能力不足。为了提取到点云局部特征的结构以提高网络模型的识别效果，Qi等^[15-16]又提出改进版本PointNet++网络，该网络采用分层网络结构克服了PointNet和LightPointNet中无法捕获局部特征的缺点，极大地提高了模型的识别性能。PointNet++网络提出之后被研究员们广泛应用，文献^[17-20]就是将点云数据作为深度学习网络的数据集直接输入到网络中训练的，使得基于点云数据的深度学习网络模型越来越成熟。

PointNet++网络可以对点云数据不同尺度地提取局部特征，通过使用多层网络架构从而获取点云数据深层特征。该网络通过学习局部特征的上下文依赖，提高了网络的特征表达能力^[20]。但是PointNet++网络往往会忽视不同邻域之间点云存在的差异所带来的问题^[21]，使目标分类精度下降。针对这一问题，基于PointNet++网络，本文提出了一种基于图注意力机制的新网络架构GA-PointNet++(graph attention PointNet++)用于点云数据特征提取。

1 算法框架 1.1 抽样集网络

本文使用两层改进的抽样集(set abstraction layers)网络，通过融入图注意力机制，给予不同邻域之间点的注意力分数，分层提取点云的局部特征。网络的每一组set abstraction layers主要包括4个部分：采样层(sampling layer)，分组层(grouping layer)，图注意力层(graph attention layer)和特征提取层(feature extraction layer)。

首先，采样层针对输入的点云数据采用迭代最远点采样(farthest point sampling，FPS)的方式选取一组点集设定为局部领域的质心点。设输入数据点集为$ {\left\{ x \right._1},{x_2}, \cdot \cdot \cdot ,\left. {{x_n}} \right\} $，在此中定义一个子集$ {\left\{ x \right._{{i_1}}},{x_{{i_2}}}, \cdot \cdot \cdot ,\left. {{x_{{i_n}}}} \right\} $，使得该子集中的点$ {x_{{i_i}}} $与输入点集中其他剩余点$ {\left\{ x \right._{{i_1}}},{x_{{i_2}}}, \cdot \cdot \cdot ,\left. {{x_{{i_{i - 1}}}}} \right\} $间的距离保持最远。第一步，从输入点集中随机挑选一个点$ {x_{{i_i}}} $当作第一个查询点，从点集剩余的$ n - 1 $个点中挑选距离点$ {x_{{i_i}}} $最远的点$ {x_{{i_2}}} $；第二步，通过统计剩余的$ n - 2 $个点到子集$ {\left\{ x \right._{{i_1}}},\left. {{x_{{i_2}}}} \right\} $各点间的距离，将其中点与点间最短的长度当作该选取点与子集间的距离，挑选距子集长度最长的点当作$ {x_{{i_3}}} $。重复上述操作，使得子集中的元素到达所需点的个数$ N' $为止。与随机采样法相比，在相同的采样点条件下，迭代最远点采样能够保证采样点覆盖整个输入点集，并对整个输入点集进行均匀采样。将一个点云数据作为输入，使用迭代最远点采样法，从中选取64个点作为局部领域的质心点，其可视化结果如图1所示。

其次，分组层对所选的质心点，在给定半径范围内通过球查询(Ball Query)方式，搜索$ K $个点形成不同的邻域集。与K最近邻(K-nearest neighbor，KNN)方法相比，球查询方式可以保证所选择的领域集半径尺度相同，均匀覆盖整个输入点集。

然后，图注意力层是通过融入的图注意力机制，通过建立点与点之间存在的关联性，设计不同点间的不同注意力权重，强调点与点间的自注意力和邻域注意力。

最后，使用特征提取层将具有点注意力的特征和局部点云数据特征进行特征提取，并进行特征融合编码成为特征向量。

抽样集网络总体结构如图2所示。采样层和分组层整体输入点云数据为$ \left( {N \times 3} \right) $，输出采样分组结果为$ \left( {N' \times 3} \right) $、$ \left( {N' \times K \times 3} \right) $和$ \left( {N' \times K} \right) $，而图注意力层输入采样分组后的云数据为$ \left( {N' \times 3} \right) $和$ \left( {N' \times K \times 3} \right) $，输出为$ \left( {N' \times 1 \times F} \right) $和$ \left( {N' \times K \times F} \right) $，抽样集结构整体输入点云数据为$ \left( {N \times 3} \right) $，输出点云数据为$ \left( {N' \times 3} \right) $、$ \left( {N' \times \left( {{\text{MLP}}} \right)} \right) $和$ \left( {N' \times K \times 3} \right) $。

1.2 图注意力机制网络

点云数据中，点与点之间也存在关联性，在实际的应用场景中，点云中的样本数量会非常庞大，每一个点与其他所有点之间的权重分配会非常小，并且让每一个点都关注其他所有点会导致计算成本的飞速上升，本文既要考虑点云局部特征，又要考虑点与点之间的关联。

针对这一问题，本文使用最远采样方法和球查询方法提取出点云的局部结构。令$ X = \left\{ {x_i} \in {{\bf R}^F};i = 1,2, \cdot \cdot \cdot ,N \right\} $是模型输入点云的原始集合，具有$ F $维，其中$ N $是点的数量，$ {x_i} $包含三维空间坐标$ \left( {x,y,{\textit{z}}} \right) $、颜色、强度、表面法线等。在此研究中设置$ F = 3 $，仅使用三维坐标作为输入特征。采用$ G = \left( {V;E} \right) $来表示所提取出的局部结构，其中$ V = \left\{ {1,2, \cdot \cdot \cdot ,N} \right\} $是经过sampling layer最远点采样出的点，$ E = V \times {N_i} $是连接相邻点对的边，$ {N_i} $是点$ {x_i} $的邻域点集，该邻域集是由grouping layer球查询方法提取出的领域点集。本文将边缘特征定义为$ {y_{ij}} = {x_i} - {x_{ij}} $，其中$ i \in V,j \in {N_i} $，并且$ {x_{ij}} $表示点$ {x_i} $到相邻点$ {x_j} $。

为给不同的邻域给予不同的注意，本文引入自注意机制和邻域注意机制来获取每个点对其邻域的注意系数，如图3所示。

其中，$ {x_i} $和$ {x_{ij}} $分别表示某一点和相应的邻点，$ {y_{ij}} $是相应的边缘。自系数(self-coefficient)和局部系数(local-coefficient)通过LeakyReLU激活函数融合，进而利用softmax函数归一化得到相邻点对的注意力系数。自注意力机制通过考虑每个点的自几何信息来学习自系数，而邻域注意力机制则是通过考虑邻域来关注局部系数。

图注意力网络总体结构如图4所示。

首先，对输入的点云数据的节点和边缘进行编码，由式（1）和式（2）定义：

式中，$ h() $为非线性函数。

非线性函数$ h() $表示为一组可由单层神经网络所学习的参数。

其次，单层神经网络将输出自系数$ h({x'_i},\theta ) $与局部系数$ h({y'_{ij}},\theta ) $，将自系数$ h({x'_i},\theta ) $与局部系数$ h({y'_{ij}},\theta ) $所融合，这将有效获得注意力系数，由下式所示：

式中：$ {c_{ij}} $——注意力系数；

$ {\mathrm{Leaky}}{{\mathrm{Re}}} {\mathrm{LU}}() $——非线性激活函数LeakyReLU。

最后，使用softmax激活函数将所有相邻点的注意力系数归一化到每个点，由下式所示：

GALayer层输出每一个点的上下文注意力特征，将使用已进行归一化处理的注意力系数与点的边缘特征相编码，并输出一个基于图注意力的点云特征，由下式所示：

其中，$ f() $为非线性激活函数。非线性激活函数$ f() $选择ReLU作为激活函数。

1.3 网络整体结构

本文所提出的GA-PointNet++网络的整体结构如图5所示，点云数据由最左端输入到网络中，经过两个set abstraction layers操作，将局部点云数据进行特征提取，最后通过全连接层处理，最终输出分类识别的结果。

2 实验及结果分析 2.1 数据集

本章实验采用ModelNet40^[22]数据集，用来验证本文所提出的GA-PointNet++网络模型针对点云数据的分类有效性和分类精度。

ModelNet40数据集由Stanford发布，该数据集具有40个类别共12311个网格化标准CAD模型，选择其中的9843个模型作为训练集，剩余的2468个模型作为测试集。网络所输入的三维点云数据是ModelNet40原始模型在其外表面上进行均匀采样从而得到1024个点，同时将得到的点云数据均一化于一单位球面中。ModelNet40数据集数据量相差较大、物体种类较多，并且有些物体之间存在较为相似的部分，不易正确分类，例如花盆、植物等物体。随着物体种类增多，数据集的样本结构和信息复杂性有较大的提升，分类难度有较大提高。更能验证本章所提网络的性能和先进性。

2.2 参数设定

实验系统环境为Ubuntu20.04，显卡配置为NIVIDIA GeForce GTX 1080Ti。实验环境为Python3.7，Tensorfolw-gpu1.13.0。

在本实验中，选用不同的batchsize值对最后的分类精度也会造成影响。batchsize值分别设置为4、8、16、32时，网络的分类准确性如图6所示。由于三维点云数据较为稀疏，当batchsize值设定为4时，网络模型的训练效果较差，无法有效地提高模型分类识别准确率。而随着batchsize值逐渐增大，网络模型的分类识别准确率也逐渐上升，当batchsize值提高为16时，网络模型的分类识别准确率达到最高，模型性能达到较为良好，但当batchsize值再次提高为32时，网络模型的分类识别准确率略有下降。因此本实验batchsize值设定为16，每个batch中包含1024个点。

2.3 实验结果曲线

本文所提出的GA-PointNet++网络基于ModelNet40数据集在上述计算机服务器平台下连续运行了2小时13分钟，随着网络迭代计算步数的增加，网络的识别精度逐渐增大，总计运行156100步迭代，在训练集中的识别准确率达到了94.8%，如图7所示。

同时网络的学习率也根据一定的衰减系数逐步降低，如图8所示。网络中的这些超参数通过训练和测试最终收敛到最优值。

随着网络迭代计算步数的提高，交叉熵损失函数值也将逐步减小，损失函数值越小则代表着网络预测目标对象的结果和实际结果间的偏离程度越小，如图9、图10所示。

此外，在展开网络训练之前，还必须设定一些其他基本的超参数。比如在参数更新时选择ADAM作为优化器，训练轮数为251轮，动量因子一般设定为0.9，初始学习率设定为0.001，网络中神经元的辍学率设置为0.5，这意味着每个神经元在训练过程中都有50%被随机丢弃可能性，辍学率的设置可以有效提高网络的鲁棒性。训练结束后，网络中各超参数如表1所示。

2.4 评价指标

本文使用PointNet系列网络的评价指标，使用总体准确率(overall accuracy)、单个类别准确率(accuracy)和平均分类准确率(mean class accuracy)作为评价指标，下式为总体准确率的计算公式：

式中：A_O—— 总体准确率；

E_C—— 正确分类样本数量；

E_T—— 总体样本数量。

单个类别准确率的计算公式为

式中：A_cc—— 单个类别准确率；

P_S—— 单个类别中正确分类样本数量；

E_S—— 单个类别中样本数量。

平均分类准确率的计算公式为

式中：A_MC—— 平均分类准确率；

C—— 所有样本的种类数量；

i—— 不同样本类别。

2.5 实验结果分析

使用基于ModelNet40数据集中的测试集对本文所提的GA-PointNet++网络性能进行评价，其评价指标包括平均损失（mean loss）、总体准确率（overall accuracy）和平均分类准确率（mean class accuracy）。ModelNet40数据集的评估结果如表2所示。

在基于ModelNet40数据集下，本文所提的GA-PointNet++与现有的国内外其他深度学习网络方法的识别准确率进行对比，其对比结果如表3所示。

由表3可知，本文所提GA-PointNet++网络在ModelNet40数据集的平均分类准确率和总体准确率分别达到88.8%和91.3%，对比PointNet++单尺度特征提取网络和PointNet网络总体准确率分别提高了1.1百分点和2.1百分点，同时也较PointNet网络平均分类准确率提高了2.8百分点。

此外，ModelNet40数据集下各类别的单个类别准确率如表4所示。从表中数据可以看出，本文提出的模型较PointNet++基线模型部分类别识别准确率都有了一定的提升。

综合以上实验数据，可以验证本文提出的GA-PointNet++在分类任务中取得了较为良好的效果。

3 结束语

本文就PointNet++在提取邻域信息之间的关系的不足，提出了基于图注意力机制的三维点云特征提取方法。通过在数据集ModelNet40上进行实验，可以看出本文所提出的GA-PointNet++网络在ModelNet40数据集上的平均分类准确率和总体准确率分别达到88.8%和91.3%，相比于PointNet++单尺度特征提取网络和PointNet网络总体准确率分别提高了1.1百分点和2.1百分点，同时也较PointNet网络平均分类精度提高了2.8百分点，具有了更好的效果，验证了本文提出的模型的可行性。而且本文提出的模型在特征提取过程中，既保证了局部特征的完整，又考虑了点与邻域点之间的关系，最终达到了较为良好的识别精度，有助于推进点云分类技术的研究与应用。