人工神经网络是目前非线性方法技术的研究热点之一, 在海洋油气资源勘探领域有许多成功的应用^[1-4]。神经网络算法的性能优劣取决于网络结构、神经元性质与训练方法等, 其性能评价主要是通过检验数据集衡量所建立的模型对于新输入的预测能力, 即泛化能力。神经网络模型具有自适应性好、容错能力强、预测速度快的特点, 但是预测前需要进行属性优选; 而且在学习训练阶段, 需要有足够多的代表性强的样本数据, 才能达到较好的学习效果^[4-5]。属性优选是基础, 网络训练是关键。

在应用神经网络算法解决实际问题时, 用户通常根据设定的最小误差和最大训练次数来判断学习训练过程是否有效, 进而通过增大训练次数、调整网络结构或参数使学习过程满足精度要求^[2-3]。另外, 对于学习训练满足精度要求的神经网络模型, 如何对其泛化能力进行评价, 即如何评价神经网络算法的精度, 在此前的研究中并未涉及。在网络结构、参数不尽相同的情况下, 如何评价同一组样本学习训练过程的精度高低, 是阻碍神经网络应用的一个问题。本文以BP神经网络为例, 尝试基于测量数据处理中的误差理论对神经网络算法的精度进行估计, 并结合海洋油气资源预测资料进行具体研究。

1 BP神经网络精度分析

反向传播网络(back-propagation network, 简称BP网络)是神经网络研究中最常用的一种, 是指基于误差反向传播算法(BP算法)的多层前向神经网络^[5-6]。设隐含层为一层, 则一个三层的BP网络中, 各层均有不同的节点(神经元)数目, 且每个节点都带有一个输入为1的偏差值(阈值)$b$。第一层为输入层, 节点数为$m$(输入变量维数); 第二层为隐含层, 节点数为$s$(可选); 第三层为输出层, 节点数为$n$(输出变量维数)。各层之间由权系数连接, 每一层的输出为下一层的输入。

根据测量数据处理中的误差理论知识, 测量数据成果的精度评定包括两个方面: 一是观测值的实际精度; 二是由观测值经平差得到的观测值函数的精度^[7-8]。对于BP神经网络而言, 第一方面对应的是模型学习训练阶段学习样本的实际精度; 第二方面对应的则是模型预测阶段预测结果的实际精度。

1.1 学习训练过程的精度评定

BP神经网络的学习训练过程是根据学习样本实际输出与目标输出之间的差值不断调整权值, 由于目标输出已知, 将其视为观测值L, 将实际输出视为平差值$\hat{\boldsymbol{L}}$, 设残差为V, 则有$\hat{\boldsymbol{L}}_{i}=\boldsymbol{L}_{i}+\boldsymbol{V}_{i}$, 即$\boldsymbol{V}_{i}=\hat{\boldsymbol{L}}_{i}-\boldsymbol{L}_{i}$。由于单位权方差的估值为残差平方和$\boldsymbol{V}^{\mathrm{T}} \boldsymbol{P} \boldsymbol{V}$除以该问题的自由度$r$(多余观测数)^[7-8], 即:

$\hat{\boldsymbol{\delta}}_{0}^{2}=\frac{\boldsymbol{V}^{\mathrm{T}} \boldsymbol{P} \boldsymbol{V}}{r}$ .

(1)

学习样本集中各输入向量值为单独获得, 视为独立观测值, 则式(1)中, 观测值权阵P为单位阵I。若用条件平差方法求解^[7], 法方程系数为:

$\boldsymbol{N}_{\mathrm{aa}}=\boldsymbol{A} \boldsymbol{P}^{-1} \boldsymbol{A}^{\mathrm{T}}$ ,

(2)

式中, A为m×n阶矩阵, A中所有元素均为1。则实际输出值$\hat{\boldsymbol{L}}$的协因数阵为:

${\mathit{\boldsymbol{Q}}_{\mathit{\boldsymbol{\widehat L}}\mathit{\boldsymbol{\widehat L}}}}\mathit{\boldsymbol{ = }}{\mathit{\boldsymbol{Q}}_{\mathit{\boldsymbol{LL}}}}\mathit{\boldsymbol{ - }}{\mathit{\boldsymbol{Q}}_{\mathit{\boldsymbol{VV}}}}\mathit{\boldsymbol{ = Q - Q}}{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{N}}_{{\rm{aa}}}^{{\rm{ - 1}}}\mathit{\boldsymbol{AQ}}$ ,

(3)

式中, Q为P的协因数阵, Q=P^–1。则模型学习训练阶段样本实际输出值的中误差为:

${\mathit{\boldsymbol{\hat \delta }}_{\mathit{\boldsymbol{\hat L}}}} = {\mathit{\boldsymbol{\hat \delta }}_0}\sqrt {{\mathit{\boldsymbol{Q}}_{\mathit{\boldsymbol{\hat L\hat L}}}}} $ .

(4)

$\hat{\boldsymbol{\delta}}_{\hat{\boldsymbol{L}}}$可用于评价BP神经网络学习训练过程的精度高低, 该值越小, 表明学习训练过程精度越高, 学习样本选择比较合理。

1.2 预测过程的精度评定

BP神经网络在学习训练过程完成之后, 网络各层之间的联系以各层节点间连接权的形式固定下来, BP神经网络即可根据预测过程的输入向量, 利用已确定的权值及偏差向量, 计算得到对应的预测结果。计算过程如下:

设由${x_{ip}},i = 1,2, \cdots ,n$求解${y_{kp}},k = 1,2, \cdots ,m$的过程由函数g确定, 则有:

由误差理论中的非线性函数协因数传播律^[10], $\boldsymbol{Q}_{y y}=g^{\mathrm{T}} \boldsymbol{Q}_{x x} g$, g为对函数g全微分后各变量的系数阵, 则BP神经网络预测样本的中误差为:

$\hat{\boldsymbol{\delta}}_{\hat{y}}=\hat{\boldsymbol{\delta}}_{0} \sqrt{\boldsymbol{Q}_{\hat{y} \hat{y}}}$ ,

(5)

式(5)中, $\hat{\boldsymbol{\delta}}_{0}$采用学习训练过程的计算结果, 同样视预测样本输入向量为独立观测值, 则$\boldsymbol{Q}_{x x}=\boldsymbol{P}^{-1}=\boldsymbol{I}$。这样就实现了对BP神经网络预测过程的精度评价。下面以海洋油气资源预测实测资料进行BP神经网络精度的具体计算。

2 海洋油气资源BP神经网络预测模型的精度评价 2.1 BP神经网络预测模型结果分析

首先对渤海湾某研究区圈定的油气化探异常, 结合研究区内的油气地质、地球物理等勘探资料, 建立异常的BP神经网络综合评价预测模型, 模型学习训练及预测阶段的具体过程详见参考文献[2]。特别注意的是, 在构建BP神经网络预测模型时, 应对研究区内已知的各类化探异常样本进行充分的属性提取, 选取足够多的、具有代表性的异常样本组成学习样本集, 进行BP神经网络预测模型的学习训练; 再利用训练后的预测模型对研究区内未知化探异常进行油气资源预测, 以达到更好的预测效果。

预测模型采用3层BP网络结构, 输入层节点数设为7, 分别对应研究区内各化探异常的7类评价指标的具体得分。根据渤海湾某研究区勘探资料, 通过对已知钻井的分析研究, 共选取7种指标组成BP网络输入属性。首先进行油气地质综合分析, 主要考虑油气生成、运移、成藏等因素及先后顺序关系, 得到油气地质综合评价(F5)指标; 同时结合同步荧光330 nm (F1)、酸解烃丙烷(F2)、酸解烃乙烯(F3)、热释烃乙烷(F4)等油气化探指标, 以及重力垂向二阶导数(F6)、磁力垂向一阶导数(F7)等组成BP网络输入, 以7种指标在各化探异常的得分值作为样本输入。隐含层设为单隐层, 节点数为10个。输出层节点数设为6, 对应油气资源评价的6种类别, 期望输出及评价结果具体含义如表1所示。输出层各节点均采用(0, 1)之间的连续函数输出, 网络学习训练及预测阶段均选取输出值最大者所在的节点输出为最终的评价结果类别。

随机选取研究区20组已知化探异常中的10组作为学习模式组成训练样本集, 对BP网络预测模型进行学习训练, 网络最大学习次数不超过50 000次, 系统最大误差小于0.000 05。BP网络经过30 000次训练后收敛, 误差满足要求, 学习训练过程结束, 10组已知异常的实际输出与真实输出的对比如表2所示。从表2可以看出, BP网络预测模型在学习训练阶段的实际输出与期望输出非常吻合。

对于研究区内剩余10组化探异常, 利用学习训练后的BP网络预测模型对其进行含油气综合评价预测, 结果如表3所示。从表3中可以看出, 剩余10组化探异常的含油气评价预测结果分为4种: 油气区、油区、气区及少量气区。经与实际勘探资料比对, 与实际钻井结果吻合较好。

2.2 BP神经网络精度评价 2.2.1 学习训练过程精度评价

由表2中学习样本期望输出与实际输出之差可得到残差V, 利用式(1)即可求得单位权方差估值$\hat{\boldsymbol{\delta}}_{0}^{2}$。P为单位阵I, 多余观测r=q–1=9。A为7×6阶矩阵, A中所有元素均为1。再利用式(2)、(3)计算求得N_aa、${{\bf{Q}}_{\mathit{\boldsymbol{\hat L\hat L}}}}$, 即可得到学习样本实际输出值的中误差${\widehat {\bf{ \pmb{\mathsf{ δ}} }}_{\mathit{\boldsymbol{\hat L}}}} = {\widehat {\bf{ \pmb{\mathsf{ δ}} }}_0}\sqrt {{{\bf{Q}}_{\mathit{\boldsymbol{\hat L\hat L}}}}} $。

经过计算, BP神经网络学习训练阶段样本实际输出值的中误差分别为:

${\hat \delta _{{{\hat L}_1}}} = $0.001 1, ${\hat \delta _{{{\hat L}_2}}} = $0.000 2, ${\hat \delta _{{{\hat L}_3}}} = $0.000 2, ${\hat \delta _{{{\hat L}_4}}} = $0.001 1, ${\hat \delta _{{{\hat L}_5}}} = $0.001 3, ${\hat \delta _{{{\hat L}_6}}} = $0.001 4。

可见BP神经网络学习训练过程的精度较高, 输出层6个节点的中误差中最大仅为0.001 4, 可以满足异常评价的要求, 表明BP神经网络结构设计合理, 学习样本选择合理。

2.2.2 预测过程精度评价

由于BP神经网络预测过程中输入$x$到输出$y$的函数$\operatorname{g} $并未确定其具体形式, 则系数阵$\operatorname{g} $无法直接求得。为简化起见, 由全微分定义可知, 若对学习样本每层节点均施加小的增量e_ij=0.001, 利用BP神经网络重新计算学习样本实际输出${y'_{ij}}$(如表4第9列所示), 由${y'_{ij}}$与施加增量e_ij前的输出y_ij相减可得到对应于e_ij的变化p_ij, 则全微分$\frac{{\partial \operatorname{g} }}{{\partial {x_{ij}}}} \approx {p_{ij}}/{e_{ij}} = ({y'_{ij}} - {y_{ij}})/{e_{ij}}$;由$\boldsymbol{Q}_{y y}=g^{\mathrm{T}} \boldsymbol{Q}_{x x} g $, 可得预测样本的中误差为$\hat{\boldsymbol{\delta}}_{\hat{y}}=\hat{\boldsymbol{\delta}}_{0} \sqrt{\boldsymbol{Q}_{\hat{y} \hat{y}}} \circ \hat{\boldsymbol{\delta}}_{0}$。$\hat{\boldsymbol{\delta}}_{0}$采用学习训练过程的计算结果, 视预测样本输入向量为独立观测值, 则$\boldsymbol{Q}_{x x}=\boldsymbol{P}^{-1}=\boldsymbol{I}$。

经过计算, BP神经网络预测模型预测阶段实际输出值的中误差分别为:

${\hat \delta _{{{\hat y}_1}}} = $0.002 3, ${\hat \delta _{{{\hat y}_2}}} = $0.001 3, ${\hat \delta _{{{\hat y}_3}}} = $0.001 0, ${\hat \delta _{{{\hat y}_4}}} = $0.003 9, ${\hat \delta _{{{\hat y}_5}}} = $0.003 6, ${\hat \delta _{{{\hat y}_6}}} = $0.004 3。

对比BP神经网络学习训练阶段, 可以发现虽然预测阶段输出层各节点的中误差普遍稍大于学习训练阶段各输出层节点中误差, 但仍达到了较好的预测效果, 其中误差最大为0.004 3, 最小为0.001 0; 学习训练阶段输出值中误差最大为0.001 4, 最小为0.000 2。出现这种差别的原因与BP神经网络具体实施过程中网络结构的设计、参数设定及学习样本的选取等因素有关, 也与系数阵$g$的计算有关, 还需今后更为精细的研究。基于上述分析, 在利用BP神经网络进行油气资源预测时, 可分别计算不同网络结构下预测模型学习训练阶段及预测阶段的输出层各节点中误差, 作为评价不同网络结构预测模型的精度高低的指标, 从而为神经网络模型的结构优选提供依据。

3 结论

BP神经网络具有很强的学习能力, 能从已知信息中得到有利于解决最优化问题的结论; 随着对神经网络算法研究的不断深入, 其在海洋油气资源勘探中的应用前景也将更加广阔。但在应用神经网络算法解决实际问题时, 用户一般只是根据预先设定的最小误差和最大训练次数来判断训练是否有效。本文基于测量数据处理中的误差理论分别对BP神经网络学习训练过程和预测过程的输出层节点中误差进行计算, 并结合海洋油气资源预测实测资料实现了对BP神经网络的精度评定。该方法可推广到其他神经网络模型的精度估计中, 为不同领域最优神经网络模型的结构设计及参数设置提供有效参考。