重庆网站搭建公司新网站快速提高排名

重庆网站搭建公司,新网站快速提高排名,邮件服务商,django企业网站源码本篇博客将结合蘑菇书来就之前介绍的强化学习概念进行回顾#xff0c;主要通过QA方式进行。Q1-1:强化学习的基本结构是什么#xff1f; A#xff1a;actor、environment、reward。environment将提供一个状态向量s给actor#xff0c;actor得到s根据策略进行action获得r…本篇博客将结合蘑菇书来就之前介绍的强化学习概念进行回顾主要通过QA方式进行。Q1-1:强化学习的基本结构是什么Aactor、environment、reward。environment将提供一个状态向量s给actoractor得到s根据策略进行action获得reward环境受到action影响变为下一个状态s。actor的目的是最大化rewardQ1-2为什么强化学习相对于监督学习的训练过程更加困难A1.强化学习的数据集是时序序列actor、reward、action、s、policy等会随着时间不断变化而监督学习的数据集往往是独立同分布的2.强化学习的reward具有时延效应reward不能及时反馈3.监督学习的数据集有标注好的标签而RL选择action只能根据最大化reward来优化Q1-3强化学习的基本特征有哪些A1.有探索过程即通过不断和环境交互来获得对环境的判断2.actor会从environment中获得具有时延的reward3.训练的时间非常重要因为数据都是时间序列数据4.actor的action将会影响rewardQ1-4状态和观测有什么关系A状态是对环境的完整描述观测是对环境的部分描述Q1-5一个强化学习智能体由什么构成A1.策略函数actor通过policy来进行下一步的action策略包括随机性策略和确定性策略。随机性策略是一个action的概率分布确定性策略是一个确定性的action2.价值函数价值函数表述的是当前状态下执行当前策略actor的平均回报3.actor模型actor模型负责理解environment决定系统如何运行Q1-6可以把智能体分为哪几类A1.基于价值函数的智能体。显式学习价值函数隐式学习智能体的策略。2.基于策略的智能体。直接学习策略给actor一个状态其直接输出对应的动作概率3.将上述两种结合。Q1-7基于策略学习和基于价值学习的强化学习方法有什么区别A1.基于策略学习的方法根据policy产生action算法将直接更新policy使得回报最大基于价值学习的方法actor不需要制定显式的策略而是通过更新价值函数如V来选取使得V最大的action2.基于价值的方法只适用于离散环境如围棋和某些游戏领域对于行为集合庞大或是动作连续的场景该方法效果较差3.基于价值的方法有Q-learning、Sarsa基于策略爹待定的算法如策略梯度算法4.actor-critic算法同时使用策略和价值评估做决策actor根据策略做出动作critic将根据actor评估价值。上述问题基本是基础性的概念性题目下面给出一些用来考察中高级架构师的问题Q2-1一句话描述对强化学习的认识A主要包括actor、environment、rewardactor根据policy通过action与environment交互使得reward最大。Q2-2强化学习、监督学习、无监督学习的差别A强化学习和无监督学习不需要像监督学习意义依赖有标签的数据集无监督学习直接通过给定的数据进建模来寻找数据中的隐藏结构强化学习通过延迟奖励学习策略来不断使模型和目标接近并通过reward函数判断模型和目标的差距。强化学习处理的是序列数据彼此相关性较强而监督学习处理的数据往往是独立同分布的Q2-3强化学习的场景有哪些A具有马尔科夫性的问题即当前状态中包含所有和未来状态有关的历史状态的信息。Q2-4A强化学习的损失函数目的是使回报最大化深度学习的损失函数的目的是使预测值和真实值差距尽可能小。Q2-5模型和免模型的差异A有模型就是对environment进行建模免模型则actor直接和真实的environemnt进行交互。免模型方法对于真实环境具有更好的泛化能力需要较多的数据采样来优化策略。有模型方法需要对环境进行建模如果建模差异较大将会影响actor的泛化能力。