Outlier detection algorithms for penetration depth data of concrete targets combined with prior knowledge
-
摘要: 为剔除混凝土侵彻深度试验数据异常点,提出了一种融合先验知识的异常检测算法。利用反向传播(back propagation, BP)神经网络模型拟合试验样本数据的分布,结合偏差指标筛选离群样本点,并通过经验算法评价模型异常检测性能。针对试验数据特点选择全量梯度下降结合动量优化方法,从而提高模型迭代训练的稳定性和效率,并且在构建模型过程中融合领域先验知识约束对样本数据的拟合,使得模型在训练过程中能反映附加特征的影响。结果表明,BP神经网络模型适合于刚性弹对混凝土侵彻试验数据异常点的检测,加入合理的领域先验知识可有效提高模型的检测精度。Abstract: Data quality is the basis for the validity and accuracy of data-driven models, and there may be a large number of anomalies in the raw concrete targets penetration depth data. Therefore, to ensure the accuracy of the subsequent data-driven model, it is necessary to eliminate the outlier of the raw data. Compared with the traditional anomaly detection method, the anomaly detection method based on neural network models is more suitable for complex multi-dimensional and unevenly distributed concrete target penetration depth data. However, relying only on the neural network model to fit the raw experimental data ignores the abundant and effective expert prior knowledge, which will reduce the accuracy of the model, and even lead to wrong prediction results due to the limited amount of data of the training sample, data bad pixels, poor data distribution, etc. To this end, an algorithm for outlier detection of concrete target penetration depth data combined with prior knowledge was proposed. Firstly, the back propagation (BP) neural network model is used to fit the distribution of the experiment samples, then the outlier is screened out based on the deviation index, and at last, the anomaly detection performance of the model is evaluated by the empirical algorithm. Based on the characteristics of the experimental data, the batch gradient descent combined with the momentum optimization method is selected to improve the stability and efficiency during training. Furthermore, by adding domain prior knowledge with the BP neural network model to constrain the fitting of the sample data, the model can reflect the influence of additional features during training. The research results show that the BP neural network model is suitable for the outlier detection of the rigid projectile penetrating concrete experiment data. The fusion of reasonable prior knowledge can improve the detection accuracy and the convergence speed of the model, furthermore, integrating different prior knowledge will cause different results.
-
Key words:
- concrete penetration /
- neural network /
- prior knowledge /
- anomaly detection
-
弹丸对混凝土靶的侵彻贯穿过程往往伴随着高压、高应变率和多物理场耦合,加之混凝土材料的非均匀性和其动态力学性能的复杂性,使得该现象成为一个非线性的复杂问题,传统的科研三范式,即试验研究、理论分析和数值模拟在处理此类问题时存在一定的局限性。随着混凝土侵彻贯穿试验数据的积累和大数据技术的发展,第四科研范式,即数据驱动型或数据密集型科研范式,提供了另一种可行的技术途径[1],其主要依靠收集、分析和利用大量科研数据来发掘隐藏在数据背后的规律,以实现更准确地预测并指导决策,已在多个冲击爆炸毁伤效应研究场景中得到成功应用。Li等[2]将不同机器学习模型运用于爆炸载荷预测,对比分析了多个机器学习模型,发现Transformer模型是预测爆炸载荷最有效的工具,其性能明显优于MLP (multi-layer perception)等其他模型。Almustafa等[3]提出了一种基于随机森林的机器学习模型来预测钢筋混凝土板承受爆炸载荷时的结构响应,发现机器学习模型可以有效预测爆炸载荷下钢筋混凝土板的最大位移。Almustafa等[4]又利用420条数据对爆炸载荷下钢筋混凝土柱的最大位移进行预测,并提出了基于集成树的机器学习模型,有效提升了预测性能。Zhao等[5]利用支持向量机算法、高斯过程回归算法、随机森林算法和反向传播神经网络等4种机器学习模型进行了钢筋混凝土板的最大位移预测,尽管每种算法模型各有优劣,但是这4种模型预测效果都优于现有的基于数值模拟和理论分析的方法。Neto等[6]采用机器学习方法评估局部爆炸载荷下软钢板的动力响应,并结合试验数据和有限元模拟数据为训练神经网络提供了一个混合数据集,研究发现,有限元模拟数据可解决试验数据不足的问题,能够显著提高模型的预测精度。
数据质量是数据驱动模型有效性和准确性的基础,缺乏可信数据,数据驱动模型无疑是空中楼阁。数据源中的异常点在数据处理过程中会将错误的信息逐渐累积,最终造成错误的挖掘结果。另外它还会降低数据挖掘算法的效率,也可能会在数据模型中引入非正态分布或其他的数据复杂性,从而很难甚至不可能找到准确的数学模型[7]。而由于试验条件、量测技术、人为因素以及出于保密要求而加入的噪声数据和虚假数据等,会导致原生数据中存在异常点。因此,为确保数据驱动模型的准确性,必须先对原生数据进行异常值剔除操作。
神经网络模型是在回归和分类问题中被广泛应用的一类机器学习模型,它具有强大的非线性关系提取能力,可以自动从输入参数中学习到复杂的多维特征,并有效地拟合数据样本的分布,因此广泛用于异常检测任务[8]。相较于传统的异常检测方法,基于神经网络模型的异常检测方法更适合于处理复杂多维、分布不均的混凝土侵彻深度试验数据。然而,由于数据数量有限、数据分布不均匀以及数据质量不高等因素的影响,纯依赖神经网络模型自动拟合数据分布会导致预测效率降低、预测精度下降以及过拟合等问题[9]。此外,神经网络模型由于可解释性较差,从而造成模型鲁棒性较差,一些微小的干扰就可能欺诈模型使其造成错误的判断[10]。而领域先验知识的加入,有利于提高神经网络模型的预测精度,增强模型的可解释性以及鲁棒性,使得模型更具有清晰的领域背景[9,11]。
在混凝土侵彻问题研究中,基于理论分析和试验总结,已经积累了较丰富的先验知识。以刚性弹侵彻无限厚混凝土靶为例,空腔膨胀模型已经得到了较广泛的应用,在可以获取简化靶标材料本构模型的基础上,空腔膨胀模型一般可给出弹体运动的封闭解[12],但高压高应变率下混凝土材料本构模型的复杂性限制了空腔膨胀模型的应用。基于试验数据和量纲分析,也建立了多个半经验-半解析公式,它们一方面具有形式简单、便于求解的优势,另一方面又结合理论分析和试验规律,给出了基础物理量组合而成的无量纲数,作为控制弹体侵彻深度的主要控制参数,有效避免了纯经验方程基本物理概念不清晰、不便于推广应用等不足[13]。目前,刚性弹对无限厚混凝土靶侵彻深度半经验-半解析模型主要有Chen等[14]提出的两参数模型和Li等[15]提出单参数模型以及文献[16]中建立的三参数模型等,这些组合参量形式简单、易于获取,而且现有研究结果表明其能较真实地反映弹和靶的物理性能对侵彻过程的影响[17],因此可作为刚性弹对无限厚混凝土靶侵彻深度预测的先验知识。
某些特定领域,由于试验数据获取困难、代价昂贵、实际试验过程中干扰因素较多,导致数据数量有限、分布不均匀甚至缺失以及数据噪声和异常数据等,纯依赖神经网络模型从原生数据中自动拟合数据分布,可导致模型仅学习到局部分布规律和错误知识,会严重影响模型性能,甚至会因训练样本数据质量问题导致错误的预测结果,也会降低模型的收敛速度。从机器学习角度来看,神经网络的训练过程就是从样本数据中学习拟合数据分布规律的过程,通过加入额外输入分支的方式为模型赋予领域先验知识相当于使模型提前掌握一定的数据分布规律,从而节省模型学习时间,提高模型收敛速度。本文中,通过集成相应领域专家知识的形式为模型赋予先验知识,将混凝土侵彻深度的物理模型、参数约束和参数间依赖关系等知识以额外输入参数的形式提供给模型,以提升模型的性能,增强模型的鲁棒性,同时提高模型收敛速度。
本文中,首先在传统BP (back propagation)神经网络模型的基础上,加入不同专家先验知识提升模型性能,约束模型对试验数据分布的拟合,结合基于偏差的指标剔除试验样本异常点;然后,利用经验公式检验模型异常检测的准确率;最后,利用数值实验结果分析不同先验知识对数据异常检测结果的影响,为爆炸冲击试验数据异常检测提供一种可靠高效的机器学习算法。
1. 神经网络模型构建
1.1 模型基本结构
BP神经网络是一种前馈型神经网络,每个层包含多个神经元,神经元之间通过连接权重传递信息,数据从输入层经过隐藏层逐层传递,最终得到输出结果[18]。BP神经网络利用激活函数引入非线性,使它能够学习和表示复杂关系。BP神经网络训练过程包括前馈传播和反向传播2个阶段。前馈传播计算输出并计算预测误差,然后反向传播误差,逐层调整连接权重,使误差减小。通过多次迭代,网络逐渐优化,学习输入与输出之间的复杂映射关系。这样,BP神经网络能够逐步提高在各种监督学习任务中的预测准确性。具体地,每个神经元的输出:
yi=F(n∑i=1wixi+θ) (1) 式中:
xi 为神经网络模型的输入,wi 为神经元之间的连接权重值,θ 为神经元偏置项,F 为激活函数。对于混凝土靶标,由量纲分析可知,在弹体满足刚体侵彻假设并忽略应变率效应和摩擦效应时,正侵彻深度和主要影响因素的依存关系可归纳为:
xd=F(m,d,N∗,v,fc) (2) 式中:x为侵彻深度;m为弹体质量,d为弹体直径,
N∗ 为弹头形状因子,v为侵彻初速,fc为靶标材料压缩强度,这5个参数被认为是影响刚性弹对无限厚混凝土靶侵彻深度的主要控制参数,也是相关试验需记录的主要特征参数。Chen等[14]给出了两参数形式的侵彻深度公式:xd=N∗F(mρtd3,mv2fcd3) (3) 式中:除弹体形状因子
N∗ 外,另外2个无量纲因子m/(ρtd3 )和mv2/(fcd3 )分别为弹体无量纲质量λ 和撞击因子I∗ ,ρt 为靶标材料密度。在弹头形状函数
N=λ/N∗≫ 1以及撞击函数I=I∗/S≪ N(其中S为与靶标材料抗压强度fc相关的经验常数,可由试验确定)的条件下,式(3)可进一步简化成单无量纲数I的形式[15]:xd={√4kπIx<kdk2+2Iπx≥kd (4) 式中:k为锥形坑深度的经验常数,一般1.5<k<2.5。
任辉启等[16]认为以上模型都忽略了重力加速度
g 的影响,提出了三参数形式的无量纲侵彻深度公式:xd=N∗KF(mρtd3,mv2fcd3,v2gd) (5) 式中:K为弹体质量修正因子。
基于以上分析,构建了如图1所示的4种神经网络模型。
图1(a)为无融合先验知识的模型,模型为4层BP神经网络,输入层包括弹头形状因子
N∗ 、弹体直径d 、弹体质量m 、靶标材料强度fc 和着靶速度v 等5个参数,模型隐藏层1选择128个节点,隐藏层2选择28个节点,输出层为1个节点,对应无量纲侵彻深度x/d 。图1(b)为采用融合单参数先验知识模型,在5个基本控制参数的基础上,增加撞击因子mv2/(fcd3) 作为神经网络模型的输入参数。图1(c)则增加了mv2/(fcd3) 和m/(ρtd3) 等2个先验知识模型参数为神经网络模型输入参数。图1(d)则在图1(c)的基础上增加v2/(gd) 构成融合三参数先验知识的神经网络模型。1.2 模型训练优化
神经网络模型训练优化过程是一个迭代的过程,旨在最小化预测误差,提高网络性能。通过前馈传播计算输出并与真实标签比较得到误差,然后利用反向传播算法,从输出层向后传播误差,调整连接权重以减小误差。训练过程中通常使用优化算法(如梯度下降)来更新权重,并设置学习率来控制权重调整的步伐[19]。为防止过拟合,还可以使用正则化技术。
1.2.1 损失函数
在模型具体实施过程中选用回归问题经典损失函数,即均方误差损失函数LMSE,其优势在于衡量误差准确,收敛快,均方误差损失函数如下:
LMSE=n∑i=1(yi−ypi)2 (6) 式中:
yi 为试验样本的无量纲侵彻深度,ypi 为模型预测侵彻深度,n为样本数量。为了防止模型过拟合,在模型中还加入正则化项:LREG=αn∑j=1‖wj‖22 (7) 式中:
wj 为神经网络权重,α 设置为10−4。基于式(6)~(7),神经网络模型的最终损失函数如下:
L=LMSE+LREG (8) 1.2.2 优化策略
混凝土侵彻深度试验数据中存在一定的噪声异常数据,因此在训练过程中,采用全量梯度下降算法。该算法每次迭代更新参数时使用整个训练集,使得每次参数更新都朝着整体误差减小的方向进行,从而使得迭代更新过程更加稳定,并最终能够保证收敛于极值点。全量梯度下降算法能更全面地利用整个训练集的信息,减少异常点对模型训练的影响,因此在处理数据异常点时效果良好[20]。
在模型训练优化过程中,加入了动量优化思想。动量优化方法优点是能够加速神经网络的收敛速度,有效克服梯度下降的震荡问题,从而提高训练的稳定性和效率[20]。经数值实验调试,模型训练总动量优化系数设置为0.9。同时还采用了学习率衰减策略,在模型损失经过多轮迭代没有明显降低时自动缩小学习率。
2. 试验设置及结果分析
2.1 样本数据
2.1.1 数据预处理
数据预处理主要包括数据整合、量纲统一、空值筛选以及数据归一化处理。数据整合是将不同来源的原生混凝土侵彻深度试验数据的神经网络模型输入字段提取整合;量纲统一是将整合后的每条样本数据的弹体直径
d 、弹体质量m 、靶标抗压强度fc 以及着靶速度v 几个参数统一单位;空值筛选则是剔除所有样本数据中关键参数为空的样本条目;数据归一化则选最大最小值归一化策略:x′=x−min(x)max(x)−min(x) (9) 式中:
x 为样本点某项特征值,min(x) 为对应特征的最小值,max(x) 为对应特征的最大值,x′ 为归一化缩放到[0,1]区间 后的样本点特征值。2.1.2 数据分布统计
样本数据来源于公开文献中混凝土侵彻深度试验数据。如表1所示,每条数据包括主要的控制参数弹头形状因子
N∗ (分别用0、1、2和3代表平头弹、卵形弹、锥形弹和钝头或半球形弹),弹体直径d 、弹体质量m 、靶标材料压缩强度fc 、着靶速度v 以及无量纲侵彻深度x/d 。表 1 试验数据示例Table 1. Examples of experimental datad/m m/kg v/(m·s−1) fc/MPa N* x/d 0.01292 0.064 371 13.8 1 9.83 0.0762 5.9 308 35.1 3 3.04 0.305 191.62 79 39.0 2 0.098 0.01292 0.064 1142 13.8 0 65.79 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 经过预处理之后的混凝土侵彻试验样本共有1078条,弹体速度和质量各区间分布见表2~3。速度区间内主要集中在[0, 1200] m/s,在速度区间(1200, 1700] m/s内只有40条数据。质量主要分布于[0, 50] kg区间,共计991条数据,而(50, 500] kg区间内的数据较少,计87条。
表 2 各速度区间数据分布Table 2. Data distribution in each velocity range速度区间/(m·s−1) 样本数/个 速度区间/(m·s−1) 样本数/个 [0, 400] 379 (800, 1200] 117 (400, 800] 542 (1200, 1700] 40 表 3 各质量区间数据分布Table 3. Data distribution in each mass range质量区间/kg 样本数/个 质量区间/kg 样本数/个 [0, 50] 991 (100, 500] 56 (50, 100] 31 2.2 模型设置及异常检测性能评价
2.2.1 模型设置
数值实验中拟合侵彻试验数据的神经网络模型共有4层,第1层隐藏层有128个节点,第2层隐藏层有28个节点,输出层1个节点。无融合先验知识的模型输入层节点数为5,融合单参数先验知识模型有6个输入节点,融合双参数先验知识模型有7个输入节点,而融合三参数先验知识模型有8个输入节点,其包括3个额外的组合变量参数,即3个先验知识模型参数。神经网络模型选择使用Relu激活函数,输出层无激活函数,直接将线性结果作为预测值输出。训练过程中初始学习率
lr 设置为0.001,动量优化系数设置为0.9,正则化项系数α 设置为10−4。针对学习率衰减策略,设置模型损失在经过250次迭代后仍不降低则学习率变为原来的1/10。
2.2.2 异常点检测
模型实际训练时,使用全部1078条样本数据,在经过多轮迭代收敛后得到的神经网络模型是一个拟合大量试验样本的非线性函数,输入为侵彻深度主要控制参数和对应的先验知识模型参数,输出为无量纲侵彻深度x/d。在测试时,使用模型输出的无量纲侵彻深度值与样本数据实际无量纲侵彻深度值作对比,如果偏差较大,则认为此样本为异常样本。定义样本i的模型预测无量纲侵彻深度为
Ypi(i=1,2,…,1078) ,试验样本真实的无量纲侵彻深度为Yti(i=1,2,…,1078) ,偏差可定义为:pi=|Ypi−Yti|Ytii=1,2,…,1078 (10) 考虑到目前混凝土侵彻深度试验数据的偶然误差以及常用经验算法偏差一般约为20%,可定义偏差指标为0.2,即
pi≥0.2 时样本i为异常样本。2.2.3 性能评价
由于混凝土侵彻试验数据是无标签样本,无法直接判断剔除样本异常点的准确性,因此建立了一种基于经验算法的评价方法:针对模型筛选出的样本异常点,首先通过经验算法计算其无量纲侵彻深度,然后根据偏差指标判断此样本基于经验算法是否同样为异常样本。定义模型筛选样本异常点数量为n,样本j的模型预测无量纲侵彻深度为
Ypj(j=1,2,…,n) ,基于经验算法计算的无量纲侵彻深度为Yej(j=1,2,…,n) ,可定义偏差:pej=|Ypj−Yej|Yejj=1,2,…,n (11) 当
pej≥0.2 时,基于经验算法判断样本j为异常样本,即模型筛选此样本点为异常样本判断正确。定义基于经验算法筛选异常样本点(pej≥0.2 )数量为m,则可定义模型异常检测准确率为:η=m/n (12) 由于刚性弹对无限厚混凝土侵彻深度经验算法较多,不同公式的适用范围和计算精度并不相同,且彼此计算结果之间存在一定差异。为解决此问题,Zhang等[21]采用基于随机森林的方法,依据侵彻试验数据中着靶速度以及弹体质量2个参数的不同分布区间来推荐混凝土靶标侵彻深度经验算法,从而避免了采用单一经验算法对试验数据评价的可能存在的不公平性:
区间1:着靶速度v∈(0, 340) m/s,且弹体质量m∈(0, 500) kg范围内,推荐公式为UKAEA公式[22];
区间2:着靶速度v∈[340, 650) m/s,且弹体质量m∈(0, 500) kg范围内,推荐公式为Forrestal公式[12];
区间3:着靶速度v∈[650, +∞) m/s,且弹体质量m∈(0, 500) kg范围内,推荐公式为Forrestal公式[12];
区间4:着靶速度v∈(0, +∞) m/s,且弹体质量m∈[500, +∞) kg范围内,推荐公式为Young公式[23]。
2.3 试验结果分析
2.3.1 异常点检测有效性分析
4种模型的相对偏差对比如图2所示,横坐标代表混凝土侵彻深度试验数据样本点编号,纵坐标代表神经网络模型预测的无量纲侵彻深度与真实无量纲侵彻深度的相对偏差,图2(a)是所有1078条数据样本的折线图,图2(b)为4个模型检测出的异常样本点的散点图。
利用神经网络模型检测异常数据点的基本假设是混凝土侵彻深度试验数据遵循一定的大数分布,也就是基本控制参数弹头形状因子
N∗ ,弹体直径d 、弹体质量m 、靶标材料强度fc 以及着靶速度v 与无量纲侵彻深度x/d 之间存在一定的映射关系,偏离分布的离群点则是异常点。而神经网络模型经过训练迭代至收敛之后可以有效拟合相应的数据分布,得到的模型是一个拟合大量混凝土侵彻试验样本的非线性函数,输入是相应基本控制参数,输出是无量纲侵彻深度,此时真实侵彻深度值与模型预测值偏差较大的点则视为偏离数据分布的异常点。从图2(a)可以看出,针对绝大部分样本点,4个模型的相对偏差都较小,说明4个模型都有效地拟合了混凝土侵彻试验数据的样本分布。并且从图2(b)可以看出,4个模型检测出的原生数据中的分布外的离群点绝大部分都是重合的,说明4个模型在收敛之后学习到的数据分布是基本相同或者说吻合的,间接反映了模型成功拟合了数据分布,并且说明筛选出的异常样本点确实是原生数据分布外的离群点。
异常数据示例如表4所示,其中加粗条目为模型剔除的异常数据。侵彻深度与着靶速度呈正相关,针对数据306、307和308,只有着靶速度控制参数不同,数据307中的着靶速度较小而无量纲侵彻深度相较于数据306和308中的较大,可以很明显看出数据307是异常数据,示例中另一条异常数据577类似。综上,本文中针对混凝土侵彻深度试验数据提出的异常点检测方法可以有效剔除原生数据中的离群异常样本点。
表 4 异常数据示例Table 4. Examples of outlier data数据编号 d/m m/kg v/(m·s−1) fc/MPa N* x/d 备注 306 0.0127 0.0587 399 29.2 0 9.40 307 0.0127 0.0587 334.9 29.2 0 11.19 异常数据 308 0.0127 0.0587 453.8 29.2 0 11.04 569 0.05 4.5 417 135 2 9.9 571 0.05 4.5 460 135 2 11.2 573 0.05 4.5 456 135 2 10.8 577 0.05 4.5 456 135 2 5 异常数据 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 2.3.2 模型性能分析
4种模型的训练误差对比如图3所示,横坐标代表模型训练迭代批次数,纵坐标代表由式(8)得到的训练误差L。从图3可以看出,融合先验知识的模型相较于无先验知识模型收敛速度都有不同程度的提升,并且收敛后的误差都相对较小,说明3种融合先验知识的模型对试验数据拟合更好。
4种模型的异常点检测性能对比如表5所示。其中,模型剔除异常样本点数指原生试验数据中偏离样本分布的离群点数量,即无量纲侵彻深度试验数据与神经网络模型预测侵彻深度偏差大于指定指标的样本点数;经验算法评判异常样本点数则是指其中与经验算法相对偏差满足式(12)的样本数。从表5可以看出,4种模型所选择的异常点样本数量大致相同,最大的为无融合先验知识模型,剔除异常点数量为128个,剔除最少的为融合三先验参数的模型,剔除112个。无融合先验知识模型筛选的128个异常样本点中经式(11)~(12)检验有87个为实际异常点,异常检测准确率为0.6796。融合单先验参数模型筛选的113个异常样本点中经检验有78个为实际异常点,异常检测准确率为0.6903。融合双先验参数模型筛选的115个异常样本点中经检验有86个为实际异常点,异常检测准确率为0.7478。而融合三先验参数模型筛选的112个异常样本点中经检验有82个为实际异常点,异常检测准确率为0.7321。数值实验结果证明,融合先验知识的异常检测模型相较于无先验知识模型能有效提升异常样本点检测性能,而融合不同的先验知识对模型性能提升的影响效果不同,其中融合式(3)中双先验参数的模型效果最好,融合式(5)中三先验参数的模型效果与其相差很小,融合式(4)中单先验参数模型提升最小,说明仅增加先验知识数量并非一定能提升模型性能,重点是针对具体问题选择适用的先验知识。
表 5 模型异常检测性能对比Table 5. Comparison of the outlier detection performances of the models模型 样本总数 模型剔除异常样本点数 经验算法评判异常样本点数 准确率 无融合先验知识 1078 128 87 0.6796 融合单先验参数 1078 113 78 0.6903 融合双先验参数 1078 115 86 0.7478 融合三先验参数 1078 112 82 0.7321 3. 结 论
为解决多源试验数据不可避免存在的数据异常情况,开展了刚性弹对无限厚混凝土靶侵彻试验数据异常点检测算法研究和数值实验,针对1078条多来源试验数据,分别通过融合不同先验知识构建BP神经网络模型,利用基于偏差的方法实现异常点的检测,并通过与经验算法进行对比检验机器学习模型异常检测的准确率,得到如下结论。
(1)利用BP神经网络模型可以有效拟合混凝土侵彻深度试验数据的分布,结合专家定义偏差指标可以有效剔除数据异常点,保证了数据质量。
(2)训练时加入领域先验知识可以有效约束神经网络模型对试验数据分布的拟合,使得模型在训练过程中能学习到先验知识对模型输出的影响,从而在异常检测精度和收敛速度方面提升神经网络模型性能。
(3)所融合的先验知识类型会对机器学习模型质量有直接影响。选择两参数的先验知识模型
(m/(ρtd3),mv2/(fcd3)) 和三参数模型(m/(ρtd3),mv2/(fcd3),v2/(gd)) 在预测准确率上都优于无融合先验知识的模型以及融合单先验知识参数mv2/(fcd3) 的模型。但两参数模型与三参数模型预测精度相近,表明单纯增加先验知识参数数量对提高模型预测精度并无影响,而更重要的是结合理论研究和试验分析,建立更合理、更全面的先验知识。 -
表 1 试验数据示例
Table 1. Examples of experimental data
d/m m/kg v/(m·s−1) fc/MPa N* x/d 0.01292 0.064 371 13.8 1 9.83 0.0762 5.9 308 35.1 3 3.04 0.305 191.62 79 39.0 2 0.098 0.01292 0.064 1142 13.8 0 65.79 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 表 2 各速度区间数据分布
Table 2. Data distribution in each velocity range
速度区间/(m·s−1) 样本数/个 速度区间/(m·s−1) 样本数/个 [0, 400] 379 (800, 1200] 117 (400, 800] 542 (1200, 1700] 40 表 3 各质量区间数据分布
Table 3. Data distribution in each mass range
质量区间/kg 样本数/个 质量区间/kg 样本数/个 [0, 50] 991 (100, 500] 56 (50, 100] 31 表 4 异常数据示例
Table 4. Examples of outlier data
数据编号 d/m m/kg v/(m·s−1) fc/MPa N* x/d 备注 306 0.0127 0.0587 399 29.2 0 9.40 307 0.0127 0.0587 334.9 29.2 0 11.19 异常数据 308 0.0127 0.0587 453.8 29.2 0 11.04 569 0.05 4.5 417 135 2 9.9 571 0.05 4.5 460 135 2 11.2 573 0.05 4.5 456 135 2 10.8 577 0.05 4.5 456 135 2 5 异常数据 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 表 5 模型异常检测性能对比
Table 5. Comparison of the outlier detection performances of the models
模型 样本总数 模型剔除异常样本点数 经验算法评判异常样本点数 准确率 无融合先验知识 1078 128 87 0.6796 融合单先验参数 1078 113 78 0.6903 融合双先验参数 1078 115 86 0.7478 融合三先验参数 1078 112 82 0.7321 -
[1] 张磊, 吴昊, 赵强, 等. 基于数据挖掘技术的地下工程目标毁伤效应计算方法 [J]. 爆炸与冲击, 2021, 41(3): 031101. DOI: 10.11883/bzycj-2020-0114.ZHANG L, WU H, ZHAO Q, et al. Calculation method of damage effects of underground engineering objectives based on data mining technology [J]. Explosion and Shock Waves, 2021, 41(3): 031101. DOI: 10.11883/bzycj-2020-0114. [2] LI Q L, WANG Y, SHAO Y D, et al. A comparative study on the most effective machine learning model for blast loading prediction: from GBDT to Transformer [J]. Engineering Structures, 2023, 276: 115310. DOI: 10.1016/j.engstruct.2022.115310. [3] ALMUSTAFA M K, NEHDI M L. Machine learning model for predicting structural response of RC slabs exposed to blast loading [J]. Engineering Structures, 2020, 221: 111109. DOI: 10.1016/j.engstruct.2020.111109. [4] ALMUSTAFA M K, NEHDI M L. Machine learning model for predicting structural response of RC columns subjected to blast loading [J]. International Journal of Impact Engineering, 2022, 162: 104145. DOI: 10.1016/j.ijimpeng.2021.104145. [5] ZHAO C F, ZHU Y F, ZHOU Z H. Machine learning-based approaches for predicting the dynamic response of RC slabs under blast loads [J]. Engineering Structures, 2022, 273: 115104. DOI: 10.1016/j.engstruct.2022.115104. [6] NETO L B, SALEH M, PICKERD V, et al. Rapid mechanical evaluation of quadrangular steel plates subjected to localised blast loadings [J]. International Journal of Impact Engineering, 2020, 137: 103461. DOI: 10.1016/j.ijimpeng.2019.103461. [7] WANG H Z, BAH M J, HAMMAD M. Progress in outlier detection techniques: a survey [J]. IEEE Access, 2019, 7: 107964–108000. DOI: 10.1109/ACCESS.2019.2932769. [8] PANG G S, SHEN C H, CAO L B, et al. Deep learning for anomaly detection: a review [J]. ACM Computing Surveys, 2021, 54(2): 38. DOI: 10.1145/3439950. [9] MURALIDHAR N, ISLAM M R, MARWAH M, et al. Incorporating prior domain knowledge into deep neural networks [C]//2018 IEEE International Conference on Big Data. Seattle: IEEE, 2018: 36–45. DOI: 10.1109/BigData.2018.8621955. [10] ZHANG W E, SHENG Q Z, ALHAZMI A, et al. Adversarial attacks on deep-learning models in natural language processing: a survey [J]. ACM Transactions on Intelligent Systems and Technology, 2020, 11(3): 24. DOI: 10.1145/3374217. [11] VON RUEDEN L, MAYER S, BECKH K, et al. Informed machine learning: a taxonomy and survey of integrating prior knowledge into learning systems [J]. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(1): 614–633. DOI: 10.1109/TKDE.2021.3079836. [12] FORRESTAL M J, LUK V K. Dynamic spherical cavity-expansion in a compressible elastic-plastic solid [J]. Journal of Applied Mechanics, 1988, 55(2): 275–279. DOI: 10.1115/1.3173672. [13] 文鹤鸣. 混凝土靶板冲击响应的经验公式 [J]. 爆炸与冲击, 2003, 23(3): 267–274.WEN H M. Empirical equations for the impact response of concrete targets [J]. Explosion and Shock Waves, 2003, 23(3): 267–274. [14] CHEN X W, LI Q M. Deep penetration of a non-deformable projectile with different geometrical characteristics [J]. International Journal of Impact Engineering, 2002, 27(6): 619–637. DOI: 10.1016/S0734-743X(02)00005-2. [15] LI Q M, CHEN X W. Dimensionless formulae for penetration depth of concrete target impacted by a non-deformable projectile [J]. International Journal of Impact Engineering, 2003, 28(1): 93–116. DOI: 10.1016/S0734-743X(02)00037-4. [16] 任辉启, 穆朝民, 刘瑞朝, 等. 精确制导武器侵彻效应与工程防护[M]. 北京: 科学出版社, 2016: 54−58. [17] 陈小伟. 穿甲/侵彻力学的理论建模与分析 [M]. 北京: 科学出版社, 2019. [18] 王清华, 徐丰, 郭伟国. 基于ANN-GA协同寻优的动态拉伸试样尺寸优化方法 [J]. 爆炸与冲击, 2022, 42(1): 014201. DOI: 10.11883/bzycj-2021-0218.WANG Q H, XU F, GUO W G. A method of geometry optimization for dynamic tensile specimen based on artificial neural network and genetic algorithm [J]. Explosion and Shock Waves, 2022, 42(1): 014201. DOI: 10.11883/bzycj-2021-0218. [19] 李秦超, 姚成宝, 程帅, 等. 神经网络状态方程在强爆炸冲击波数值模拟中的应用 [J]. 爆炸与冲击, 2023, 43(4): 044202. DOI: 10.11883/bzycj-2022-0222.LI Q C, YAO C B, CHENG S, et al. Application of the neural network equation of state in numerical simulation of intense blast wave [J]. Explosion and Shock Waves, 2023, 43(4): 044202. DOI: 10.11883/bzycj-2022-0222. [20] MUSTAPHA A, MOHAMED L, ALI K. An overview of gradient descent algorithm optimization in machine learning: Application in the ophthalmology field [C]//The 3rd International Conference on Smart Applications and Data Analysis. Marrakesh, Morocco: Springer, 2020: 349–359. DOI: 10.1007/978-3-030-45183-7_27. [21] ZHANG L, WANG J M, JIANG M W, et al. Evaluation method based on random forests for empirical algorithms of penetration effects [C]//2022 International Conference on Machine Learning, Cloud Computing and Intelligent Mining (MLCCIM). Xiamen, Fujian, China: IEEE, 2022: 73–78. DOI: 10.1109/MLCCIM55934.2022.00020. [22] FULLARD K, BARR P. Development of design guidance for low velocity impacts on concrete floors [J]. Nuclear Engineering and Design, 1989, 115(1): 113–120. DOI: 10.1016/0029-5493(89)90264-1. [23] YOUNG C W. Penetration equations [R]. Albuquerque, NM, United States: Sandia National Lab, 1997. DOI: 10.2172/562498. 期刊类型引用(1)
1. Shuai Qin,Hao Liu,Jianhui Wang,Qiang Zhao,Lei Zhang. Physics-data coupling-driven method to predict the penetration depth into concrete targets. Theoretical & Applied Mechanics Letters. 2024(03): 184-192 . 必应学术
其他类型引用(0)
-