DRL论文笔记(4)
1、DRL论文笔记（4）：《Prioritized Experience RePlay》在深度强化学习（DRL）领域，经验回放（Experience Replay）是一种重要的技术，用于提高学习效率和稳定性。传统的DQN算法在处理经验回放时采用均匀采样的方式，但这种方式忽略了经验之间的重要性差异。
2、DRL笔记 Q学习的高估问题及其原因 Q学习是一种基于值的强化学习方法，它试图通过估计状态-动作对的价值（Q值）来找到最优策略。然而，Q学习在实践中常常面临高估问题，即估计的Q值往往高于其真实值。
3、状态空间设计则强调与动作空间和回报函数的协同，以提供有效反馈和避免冗余信息干扰。回报函数设计着重于缓解稀疏回报问题，通过辅助回报和好奇心驱动的探索策略来引导学习。算法选择则根据任务类型选择DRL算法，如value-based和policy-based。训练过程中，调试和性能提升技巧也至关重要。
论文解读之一种基于优先级经验回放的DDPG算法
一种基于优先级经验回放的DDPG算法解读本文提出了一种改进的深度确定性策略梯度（DDPG）算法，通过引入基于优先级的经验回放机制，将传统离散控制领域的优化方法拓展至连续控制领域，显著提升了训练效率与模型性能。以下从核心改进、技术实现及实验验证三方面展开分析。
优先经验回放（PER）：使用一个非均匀概率π从replay buffer中采样。综上所述，DDPG是一种基于深度学习的确定性策略梯度强化学习算法，它通过off-policy的方式训练确定性策略，并使用经验回放和target网络等技术来提高训练效率和稳定性。D4PG作为DDPG的改进版本，在多个方面进行了优化和扩展。
算法流程 初始化Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络的参数。初始化经验回放池。对于每个训练步骤：根据当前策略选择动作，并添加到噪声后与环境交互，得到下一状态和奖励。将经验（状态、动作、奖励、下一状态）存储到经验回放池中。从经验回放池中随机采样一批经验。
DDPG（Deep Deterministic Policy Gradient）强化学习算法，全称Deep Deterministic Policy Gradient，是AC（Actor-Critic）框架的一种强化学习算法。它结合了基于policy的policy Gradient和基于action value的DQN，能够通过off-policy的方法，单步更新policy，预测出确定性策略，进而实现total reward最大化。
基于多目标优化的DDPG算法改进 在路径规划中引入多目标约束（如路径长度、能耗、安全性），研究改进DDPG算法的帕累托最优解求解能力。研究重点：设计多目标回报函数，结合优先级经验回放机制提升训练效率。
强化学习:DQN算法与DQN算法进阶
1、DQN算法进阶 随着研究的深入，DQN算法也经历了多次改进，形成了多种进阶版本。Double DQN算法：Double DQN算法解决了Q值的过估计问题。它引入了两个网络：当前网络和目标网络。在当前网络中找出最大Q值对应的动作，然后再将这个动作代入到目标网络中去计算Q值。这样可以有效地减少由于最大化操作带来的过估计问题。
2、QLearNing通过计算每个动作的期望收益来选择动作，使用动作价值函数Q来反映状态s在执行动作a后的可能收益。QLearning算法通过动态存储和更新动作价值表来实现学习。DQN算法：当状态空间巨大时，QLearning难以适用，DQN引入深度神经网络替代表格，实现状态输入与动作价值输出。
3、强化学习是一场探索未知领域的深度之旅，其中深度Q网络（DQN）及其进阶版本如double DQN、经验回放、rainbow和分布式DQN，是解决复杂问题的关键工具。这些算法如同评论员，通过神经网络学习评估策略，以期望的累积奖励衡量行动的价值。
4、DQN算法在处理连续状态或动作的问题时，采用函数拟合技术来估计Q值，特别适用于那些状态空间和动作空间庞大的环境。例如，车杆游戏中，智能体每坚持一帧得分1分，持续时间越长，得分越高，达到200帧可获最高分。
5、《动手学强化学习》笔记 第二部分 强化学习进阶 第7章 DQN算法要点：DQN算法的应用场景：DQN算法特别适用于处理状态空间和动作空间庞大的环境。通过函数拟合技术来估计Q值，可以应用于连续状态或动作的问题，如车杆游戏等。
强化学习笔记三-训练技巧
综上所述，经验回放、Dueling Network、策略梯度的baseline以及target network都是强化学习中重要的训练技巧。它们各自具有不同的特点和作用，但共同的目标是提高算法的稳定性和性能。在实际应用中，我们可以根据具体的问题和需求来选择合适的技巧进行组合和优化。
TRPO算法 TRPO算法的核心思想是在一个置信域内对策略进行优化，以确保每次更新后的策略与旧策略之间的差异不会太大，从而避免策略崩溃。置信域函数：对于源函数J和源参数θ，构建基于源参数的新的函数，这个函数是关于θ的函数，且在置信域内与目标函数足够接近。
底部确认：抄底先锋 核心要点：利用“抄底先锋”指标识别底部拐点。当该指标出现持续红柱放量，并且股价成功突破筹码密集区时，这通常意味着主力资金已完成吸筹过程，市场即将迎来反转。此时，投资者应建立观察仓位，为后续操作做好准备。辅助验证：在确认底部拐点的过程中，成交量的变化也是重要的参考依据。
经验回放和优先经验回放是强化学习中两种重要的技术，它们能够显著提高算法的学习效率和稳定性。通过存储和重复利用过去的经验，算法能够学习到更广泛的策略，并避免陷入局部最优解的问题。同时，优先经验回放通过根据TD error赋予不同的抽样概率，进一步提高了算法的学习效率。
