HRL4EC: Hierarchical reinforcement learning for multi-mode epidemic control
- 报告论文题目:HRL4EC: Hierarchical reinforcement learning for multi-mode epidemic control
- 出版时间:2023年4月27日
- 出版杂志:Information Sciences
- 报告主要内容:
传染病伴随人类发展,具有发展迅速、危害性大等特性。因此,迫切需要有效地传染病干预措施遏制传染病爆发,解决何时以何种力度部署哪些干预措施的问题。目前围绕传染病问题已经开展了一系列研究,主要包括两大分支:一是传染病建模。主要包括房室模型、agent-based模型、机器学习数据驱动的模型;二是实现传染病控制。其中控制模式主要分为基于规则的、以及人工智能方法使能的。近年来较为热门的工作主要是利用强化学习实现传染病控制,例如用RL实现医疗资源分配、制定封城等干预策略。
但是现有方法仍存在一些问题:对于传染病建模方面,现有模型大多数侧重于刻画传染病在内部驱动力下的传播过程(该过程与传染病传播原理紧密相关),没有刻画外部干预措施对于传染病传播的影响,它们对传染病传播也是具有直接或者间接的影响。另一方面,对于传染病控制问题而言,现有的方法大多侧重于多单一措施进行研究,这是不符合实际的,总所周知同时部署多种模式的干预措施能更好的控制传染病发展。
因此,本文提出了利用层次强化学习实现多模式传染病控制的方法。具体而言,我们首先提出了一种新的传染病模型:多重影响驱动的SEIR模型,如图1所示,该模型能够同时刻画传染病内部和外部驱动力。

其次,我们提出了层次强化学习决策框架(如图2所示)学习多模式的传染病干预策略。具体而言,它将多模式控制问题转化为多层级控制问题。其中,多重影响驱动的传染病模型用作强化学习的交互环境agent扮演策略决策者的角色。状态主要有当前的传染病发展态势、以及相应的经济预算。动作主要划分为高层级动作和低层级动作:高层级动作负责决定控制的模式采用单一模式还是多模式控制;低层级动作,决定不同的干预策略执行的粒度。

最后,我们在仿真环境中进行了实验验证,并收集了长春和上海两个地区真实传染病数据用于对比,验证我们方法的有效性。如图3所示为累计感染人数的对比,其中HRL4EC能更好的控制感染人数。

在此基础上,我们对学得的策略做了可视化处理,来探究干预策略部署时的规律。如图4展示了长春地区的干预策略可视化结果,其中横轴表示爆发天数,纵轴表示不同干预手段实施的频率。

综上,本文研究了传染病控制的多模式干预决策问题。我们提出了一个用于多模式传染病控制的分层强化学习决策系统,称为HRL4EC,该方法将复杂的干预决策问题转换成一个多层次的控制问题中。此外,我们设计了一个新颖的流行病学模型,称为 MID-SEIR,被用作HRL4EC的交互环境,它有能力捕捉外部干预对传染病发展的影响。最后,利用真实的和模拟的流行病数据进行了大量实验验证,证明了HRL4EC的有效性。同时,实验结果的可视化揭示了制定干预策略的规律,这为政策制定者提供了部署传染病控制策略的见解,以应对未来大流行病的爆发。
参与人:2030人工智能重大项目全体参与人员
报告人:杜昕祺
导师:陈贺昌
