Spark日志整合与FCM-DNN的网络流量分析算法

查看全文 作　　者：[1]李腾;[1]郭晓东;[2]胡宇鹏;[1]李振

机构地区：[1]山东大学信息化工作办公室,山东济南250100;[2]山东大学软件学院,山东济南250101

出　　处：《福州大学学报(自然科学版)》索引2023年第51卷第5期,共7页

基　　金：国家自然科学基金资助项目(62276155);山东省自然科学基金资助项目(ZR2021MF040)。 摘　　要：提出一种基于内存计算引擎(Spark)日志集成与模糊c均值聚类-全连接神经网络(FCM-DNN)的流量分析算法.首先,使用Spark集成会话日志来获取可分析的结构化数据;然后,对同一网站的行为数据进行聚类,提取网站的多类簇特征集合,以解决单个会话连接特征维度较少、特征相似且不平衡的问题;最后,构建全连接神经网络(DNN),将统一化后的聚类特征与原始特征结合并进行训练,从聚类分组长度和损失函数等多个方面进行算法优化.仿真实验结果表明,对于特征较少的会话日志数据,该算法可有效提高网站分类的准确性.同时,在保留学生上网特征的前提下,将日志压缩约7000倍,从而节省存储开销. 关键词：日志整合内存计算引擎网站行为聚类多类簇特征生成全连接神经网络

相关文献

参考文献（15）
引证文献（2）
耦合文献（87）

参考文献(15)

引证文献(2)

耦合文献(87)

互联网出版许可证新出网证(渝)字10号全国400电话 - 免长途话费

Spark日志整合与FCM-DNN的网络流量分析算法

参考文献(15)

引证文献(2)

耦合文献(87)

用户提示