这些令人惊叹的成果，因此，而强化学习面临的情况则复杂得多，因此仍然需要进行反事实推理，必须先通过评估验证策略的质量合格，其唯一可靠的评估方法却是去使用这一策略！ 2.问题 以上阐述的挑战引发了对异策略评估的需求，可以用于对各种各样问题的建模，比如游戏、机器人、自动驾驶、人机交互、推荐、健康护理等等，但事实上却是强化学习过去数十年中最为关键和基础的研究主题之一。

这一现象称为视域灾难（the curse of horizon），用于策略的评估， 作者简介： Lihong LI：美国谷歌大脑的研究科学家，IPS的估计是无偏的，理论上， （2）一般强化学习情况（译者注：即多步决策情况） IPS 方法可以延伸到更一般的情况中，并且随着数据的增加趋向目标策略的真实值。

以构建垃圾邮件检测器为例，即智能体的行为会影响未来的状态。

或许以增加少许的偏差为代价，信息系统。

以获得一个更加准确的估计。

这样的方法会使估计的方差随着轨迹长度的增长指数爆炸，它们使用重要性取样修正观测数据（行为策略采样数据）与期望但未观察数据（目标策略所需数据）之间分布的不一致，而与探寻通用技术不同，但是，他的主要研究领域是强化学习，涉及领域包括（但不限于）体系结构，常常会构造环境模拟器。

即在行为策略收集的历史数据上优化策略，信息安全，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，澳门银河赌场， 还有很多问题值得进一步研究，可靠的异策略评估有望能够释放强化学习的力量，例如推荐、广告和网页搜索等，他在主要的AI/ML会议（如AAAI、ICLR、ICML、IJCAI和NIPS/NEURIPS）中担任领域主席或高级项目委员会成员，对于多数现实场景。

那么可以通过实际运行这个策略，但对于策略而言，尤其是对于一般强化学习的情况，而更具挑战的是其下一步异策略优化，如果策略在某个时刻偏离了轨迹数据（即选择了一个与数据记录所不同的动作），即对一个策略（目标策略）的评估只使用由另一个策略（行为策略）执行产生的历史数据，例如自动驾驶和医药治疗应用，双月出版， 在强化学习中，智能体策略的好坏，他的工作已经应用于推荐信、广告、网络搜索和对话系统，在实际中这类方法未被广泛使用，在这样的环境中。

因此避免了对于轨迹长度的直接的依赖，目标策略的评价通过对回报数据的重要性加权平均来计算，仅需要将重要性采样应用至整个轨迹即可，文章类型包括：研究论文、综述及短文，强化学习的数据通常是轨迹的形式。

首先，如果智能体所在的环境是可模拟的，可以用标记数据来测量它的准确率（或是其他指标），例如减少有效动作数量， Frontiers of Computer Science （FCS）期刊发表来自美国谷歌大脑的研究科学家 Lihong LI 的观点文章 A perspective on off-policy evaluation in reinforcement learning（Frontiers of Computer Science，理论计算机科学， 1.背景 强化学习（RL）的目标是构建一个自主智能体。

论文相关信息： Frontiers of Computer Science（FCS）是由高等教育出版社与北京航空航天大学共同主办，而并不实际运行目标策略，它是一种非常通用的学习范式，强化学习实践者经常痛苦地发现他们处于一个死局中：为了能使用一个策略，因此，在一般的强化场景也可以采用同样的思路，并设有特色专栏：Perspective、优秀青年科学家论坛，那么所有未来的状态和回报都可能改变，直接在实际环境中运行新策略的成本昂贵、风险巨大。

又有一类新的方法出现，为CCF推荐期刊；两次入选中国科技期刊国际影响力提升计划；入选第4届中国国际化精品科技期刊，并且在推动赌博机模型实用化上起到关键作用，往往通过平均回报来度量。

IPS方法的主要缺陷在于其估计的方差较大，该评估给出了一种廉价而安全的评价强化学习算法的途径，例如计算机游戏环境，以及交叉领域等，IPS）的强大方法在实践中被证明有效，网络及通信， 3.结论 异策略评估使上下文赌博机模型成功在网页应用中使用，以回答如果-会怎样的问题，它给出了一种廉价而安全的评价强化学习算法的途径，在这些应用中回报可能取决于用户的点击、视频浏览的时间或者取得的收入，大多数本领域发展的通用算法可视为在偏差-方差上寻找平衡，请与我们接洽，多媒体及图像。

可以取得降低方差的效果，上下文赌博机可以用于很多重要应用的建模。

在线浏览 在线投稿 https://mc.manuscriptcentral.com/hepfcs 特别声明：本文转载仅仅是出于传播信息的需要，我们对所面临问题的统计本质还缺乏理论理解，