重大项目组会议报告-10.14

报告人:郝得然

本周复杂系统汇报内容为主动学习的介绍,主动学习在回归问题的应用以及与项目的关联性进行总结。主动学习的基本流程为从一小组标记数据学习一个函数,系统从未标记的数据池抽取另一个小的信息样本。系统去更新函数,迭代的进行学习和采样的过程使得所学的函数足够精确。从未标记的数据池抽取另一个小的信息样本时,样本的选择指标总结可划分为信息量,代表性以及多样性。

在主动学习在回归问题应用时,郝同学介绍了三篇文章的方法进行分享。

第一篇文章为2013发表在ICDM的《maximizing expected model change for active learning in regression》。该文章提出了EMEM算法基于梯度下降算法启发,选取最大化模型改变来解决回归的主动学习问题,使用Boosting思想近似未打标签的坐标使得损失函数变化最大的数据进行选择。然而EMCM需要受到回归模型的依赖以及只考虑信息量,没有考虑代表性以及多样性。

第二篇文章为2019年发表在Information Science上的《Active learning for regression using greedy sampling》。本文提出了两种新的基于贪婪采样的ALR的方法,分别为GSy在选择新的样本增加输出空间中的多样性以及IGS方法同时增加了输入以及输出空间中的多样性以选择新的样本。GSy的方法使用预测的未标签的数据的y距离现有标签空间最远的数据进行选择,而IGS方法同时考虑输入与输出空间的距离进行相乘计算。然而GS方法考虑的是输入空间或输出空间的多样性,没有考虑信息量与代表性。

第三篇文章为2019年发表在TNNLS的《pool-based sequential active learning for regression》。本文主要贡献为提出主动学习的三个标准,信息量,代表性和多样性,从分类扩展到回归问题并提出了一个通用的框架,并列举了几种同时考虑信息性,代表性以及多样性的ALR方法。RD方法针对于初始的样本选择采用kmeans质心的中心样本进行选择,在迭代ALR的过程中,使用k-means方法选择(d+1)个类进行标记,使得至少有一个聚类不包含标记样本,抽取接近质心的节点进行标记。RD方法可以与上述的EMCM以及GS的方法相结合以获得更好的性能。

最终,本次会议内容可总结为:主动学习的样本选择可以看作选择更有信息量,代表性,以及多样性数据采集。针对于项目的结合数据,信息量可以理解为选择采集对于疫情预计准确性最有帮助的数据,由于时空关系的引入,代表性可以考虑时空关系的影响而非单纯考虑距离。多样性可以理解为在整个范围内均匀采集疫情数据。我们要综合考量这三种因素,设计选择合适的方法。