交叉信息院拟入职助理教授吴翼带来多智能体强化学习讲座

2019年10月24日 浏览次数: 0

       10月24日下午,交叉信息院姚班2010级校友、拟入职助理教授吴翼带来题为“Curriculum, Evolution and Emergent Complexity with Multi-Agent Reinforcement Learning”的讲座。本次讲座由交叉信息院吴文斐助理教授主持,交叉信息院助理教授马恺声、于洋以及近40名叉院学子共同听取了讲座。

      吴翼在讲座中介绍了其最新的研究成果——利用多智能体深度强化学习(multi-agent deep reinforcement learning)使智能体自动习得与人类行为相似的策略和技能。吴翼以人类智能的诞生为切入点,探讨了“智能”的本源。他回顾了“达尔文的麻雀(Darwin’s finch)”的故事,总结了人类进化出智能的四个关键点: 进化总是从简到繁循序渐进的;不同物种之间通过互动(interaction)而共同进化;地球生态圈的复杂性导致了物种的多样性和复杂性; 进化需要一个较大的种群,而较大的种群也往往会有相应的群体行为。
 
     受生物进化的启发,吴翼指出,要搭建真正的人工智能,则需要满足模拟环境足够复杂和多智能体需要循序渐进的共同进化 (co-evolve)。基于这两个准则,吴翼介绍了两项最新的工作:通过捉迷藏游戏让智能体在物理环境下学会复杂表现;如何有效使用强化学习在智能体数量很大的情况下学出群体行为。

      在第一项工作中,吴翼展示了OpenAI 多智能体研究团队的最新成果——在捉迷藏游戏中,仅仅使用简单的+1/-1奖励,以及大规模强化学习、智能体自动进化,便掌握了工具使用,并总结出了6个不同的套路和反套路。此外,吴翼也展示了在研究过程中智能体习得的出人意料的表现,如利用物理引擎的bug得出的非常规策略等。为了能够量化研究智能体行为的复杂性,吴翼所在的OpenAI团队提出了5个不同的智能体测试,在这些测试中,通过强化学习得到智能体都能够得到最高的分数。在这个工作的末尾,吴翼也总结和这个工作的核心点:多智能体强化学+复杂模拟环境→类似人类的智能行为;并提出了进一步研究的方向。
 
     在第二项工作中,吴翼展示了他与研究组的最新算法:Evolutionary Population Curriculum (EPC)。该工作从人的个体发展经历出发,提出需要得出大规模智能体的群体智能,必须从简单场景出发——即先从比较少量智能体出发,逐步提高智能体的规模并最终得出复杂的群体行为。吴翼分析了这个渐进训练过程中的技术问题,并提出使用基于注意力机智的策略表示,以及基于进化算法的目标修正算法。吴翼在三个不同的游戏场景下展示了EPC算法的显著效果,并定量的分析了EPC算法的优秀的泛化性和稳定性。吴翼总结了这个工作的核心,即循序渐进的训练以及进化算法的使用,并提出了若干开放问题(open question)。
 
     讲座的最后,吴翼就目前强化学习的进展做了深度总结,并对利用多智能体深度强化学习实现强人工智能提出了展望与希冀。
 
     吴翼现任OpenAI 多智能体研究团队的研究员,拟于2020年加入交叉信息院担任助理教授,师从Stuart Russell教授,于加州大学伯克利分校获得博士学位,研究聚焦于人工智能、深度强化学习、概率编程语言、自然语言处理等领域,其论文 Value Iteration Network荣获NIPS 2016年度最佳论文奖。

 

文、图/ 吴晨