-
Model-based vs. Learning-Based, which is better?
I had the opportunity to attend a seminar on robotics hosted by three distinguished MIT PhD students today. It is about moto... -
Robotics Technology Stack
Recently, I felt the need to organize robotics technology stack to identify any deficiencies. It also serves as a review and commentary on my experiences over the past few years.
-
DQN 04 - Actor-Critic Methods
4.1 简介 在强化学习中,Actor-Critic方法是一种结合策略优化(policy optimization)和价值评估(value estimation)的方法。它通过将策略网络(Actor)和价值网络(Critic)结合在一起,提高了... -
DQN 03 - Proximal Policy Optimization
在强化学习(2)中介绍了REINFORCE算法。但REINFORCE算法还是存在三个问题: 更新过程效率很低,我们运行一次策略,更新一次,然后丢弃该轨迹。 梯度估计是嘈杂的。随机收集的轨迹可能无法代表该策略。 没有明确的可信度赋值。一个轨迹... -
DQN 02 - Policy Gradient Method
引言 在之前介绍的方法中,几乎所有方法都是动作价值方法(action-value Method),通过学习动作价值并基于动作价值来学做动作。如果没有动作价值评估,他们的策略甚至不会存在。但在这个部分我们将考虑学习参数化策略的方法,这些方法可以在不... -
DQN 01 - Review of Deep Q-Learning
自2021年以来,强化学习已经有了长足的发展, 这个系列主要回顾强化学习和对一些强化学习的拓展算法进行复现和整理。 1. 深度Q学习 深度Q学习将深度学习和强化学习相结合,是第一个深度强化学习算法。深度Q学习的核心就是用一个人工神经网络... -
人形机器人建模与控制(六) - 行走控制
1. 引言 腿式机器人在复杂地形中行走的能力使其成为探索、救援和军事等领域的重要研究对象。在本篇博文中,我们将探讨腿式机器人行走周期、行走运动公式、零力矩点(ZMP)和模型预测控制(MPC)等相关理论与实践方法。 2. 行走周期 腿式机器人... -
人形机器人建模与控制(五) - 稳定性与平衡控制
1. 简介 作为线性倒摆模型(LIPM)的步行 线性倒摆模型(LIPM)是步行的最基本模型,假设身体的臀部高度是恒定的,其自然频率仅取决于高度。 在LIPM模型中,假设人体在步行时可以简化为一个线性倒摆(Linear Inverted P... -
人形机器人建模与控制(四) - Whole-Body Control (WBC)
1. Repeat 在机器人控制中,任务空间和配置空间分别代表了不同的控制目标和控制方法。以下是对任务空间和配置空间控制目标的详细描述和解释。 1.1 任务空间控制 任务空间控制目标是指对机器人末端执行器的位置和姿态进行控制。任务空间控制的主要... -
人形机器人建模与控制(三) - 机器人控制
1. Repeat 1.1 正向运动学 Forward Kinematics 目标:给定机器人的关节角度 ,找到末端执行器在笛卡尔空间中的姿态(位置和姿态)。 我们可以使用齐次变换矩阵来表示末端执行器的姿态。齐次变换矩阵是一个包含旋转矩阵...