語言:

Bootstrap样本大数据模型和分布式集成学习方法

罗凯靖, 张育铭, 何玉林, 黄哲学

大数据, 2024-05, Vol.10 (3), p.93-108

可取得全文

引用被引用

傳送到

題名:
Bootstrap样本大数据模型和分布式集成学习方法
著者: 罗凯靖, 张育铭, 何玉林, 黄哲学
主題: bagging集成学习 ; bootstrap抽样 ; spark ; 分布式集成学习
所屬期刊: 大数据, 2024-05, Vol.10 (3), p.93-108
描述: 传统Bootstrap抽样和Bagging集成学习通常以串行方式实现，计算效率低，且存在样本不可重用、扩展性差等问题，不适合高效的大规模Bagging集成学习。从大数据分布式计算的思维入手，提出新的Bootstrap样本划分（BSP）大数据模型和分布式集成学习方法。BSP数据模型通过分布式生成算法将训练数据表达成分布式Bootstrap样本集的集合，存储成HDFS分布式数据文件，为后续的分布式集成学习提供数据支持。分布式集成学习方法从BSP数据模型中随机选取多个BSP数据块，读入集群各个节点的虚拟机，用串行算法对选取的数据块并行计算统计量或训练建模，再将所有的计算子结果回传至主节点中，生成最终的集成学习结果，此过程中可加入对子结果的质量选择以进一步提高预测效果。BSP数据模型的生成和分布式集成学习采用非Map-Reduce计算范式进行，每个数据块的计算独立完成，减少了计算节点间的数据通信开销。提出的算法在Spark开源系统中以新的算子方式实现，供Spark应用程序调用。实验表明，新方法可以高效地生成训练数据的BSP数据模型，提高数据样本的可重用性，在基于有监督机器学习算法构建的大规模Bagging集成学习实验中，计算效率能提高50%以上，同时预测精度进一步提高约2%。
出版者: China InfoCom Media Group
語言: 中文
識別號: ISSN: 2096-0271
DOI: 10.11959/j.issn.2096-0271.2024002
資源來源: DOAJ Directory of Open Access Journals

連結

View record in Directory of Open Access Journals$$FView record in $$GDirectory of Open Access Journals

返回到檢索清單

檢索清單 1 下ㄧ個記錄下ㄧ頁

Bootstrap样本大数据模型和分布式集成学习方法

罗凯靖, 张育铭, 何玉林, 黄哲学

正在檢索遠程資料庫，請稍等