对于做ROS或者机器学习、深度学习的小伙伴，（重）装Ubuntu系统已经轻车熟路了吧。不经意间，升级内核导致显驱失效无法开机、ROS不小心搞坏，修复不如重装、或者首次安装系统等困扰，Ubuntu应用商店不好用、挨个装软件又很麻烦、有些软件还要搜索一下安装方式等等苦恼，都交给【Ub……继续阅读 » 4年前 (2021-04-26) 2840浏览 0评论331个赞
自2013年DeepMind的论文Playing Atar……继续阅读 » 4年前 (2021-04-26) 1811浏览 0评论294个赞
使用UR机械臂最新的 ur_robot_driver ……继续阅读 » 4年前 (2021-04-26) 1709浏览 0评论1727个赞
ur机械臂 + robotiq gripper + robotiq ft sensor + gazebo + 连接真实机械臂 + 网页控制仓库地址：[ur_ws](https://github.com/borninfreedom/ur_……继续阅读 » 4年前 (2021-04-26) 1395浏览 0评论2788个赞
……继续阅读 » 4年前 (2021-04-26) 2484浏览 0评论1382个赞
这是……继续阅读 » 4年前 (2021-04-26) 2558浏览 0评论2380个赞
在开始之前，先送上本篇文章的彩蛋——我竟然在pybullet里放烟花！！！ 声明：彩蛋与文章主要内容无关，纯粹图个开心。 ……继续阅读 » 4年前 (2021-04-26) 2235浏览 0评论528个赞
目前训练强化学习智能体需要越来越多的数据和算力，分布式计算是加快训练过程的重要一环。Ray(RLlib)是由UC Berkeley’s RISE Lab在2017年发布，目前已经成为强化学习训……继续阅读 » 4年前 (2021-04-26) 1545浏览 0评论1612个赞
超参数的设置对强化学习算法的训练效果起着非常重要的作用，如果超参数没有调整好，可能非常好的网络结构和强化学习算法也发挥不出优势。超参数的调整是一项非常困难又略带玄学的工作，好在ray的tune能自动帮我们进行超参数的调整，找到最优的超参数。 下面我们通过例子来看一下tune的使用……继续阅读 » 4年前 (2021-04-26) 2999浏览 0评论1268个赞
ray的强大不仅在于他是分布式计算框架，更是因为有RLLib和tune的加持。tune的使用上一节我们已经讲了，这一节我们来看一下RLLib的使用。虽然后讲的rllib，但是真正训练的时候，还是tune使用的多，因为它调节超参数是很方便的，而rllib不具有自动调节超参数的能力。……继续阅读 » 4年前 (2021-04-26) 1443浏览 0评论1128个赞
我们继续上一篇文章pybullet杂谈 ：使用深度学习拟合相机坐标系与世界坐标系坐标变换关系（一），在上一篇文章中，我们完成了物体世界坐标系和相机坐标系的坐标对应关系的数据，以及数据的存取……继续阅读 » 4年前 (2021-04-26) 1762浏览 0评论695个赞
题目有些啰嗦，到底说了个啥意思呢？ 首先，是一个SlideBars控制，那啥是SlideBars控制呢？ 就……继续阅读 » 4年前 (2021-04-26) 1872浏览 0评论1336个赞
已经脱更好久了，最近在金山实习，白天做公司的游戏项目，晚上做自己的课题，实在是抽不出时间。接下来几篇，我们要实现一个机械臂reach的训练，先看一下要达到的效果。……继续阅读 » 4年前 (2021-04-26) 1935浏览 0评论135个赞
我们继续上一篇文章。上一篇已经完成了critic的设计，下面我们再来把actor完成。……继续阅读 » 4年前 (2021-04-26) 1377浏览 0评论2307个赞
前面两节讲完了critic、actor以及缓冲区的设计，下面就到了actor和critic的损失函数的环节了。对于神经网络来说，最重要的就是计算损失函数进行反向传播更新参数了。在计算损失函数之前，需要有batch的数据，所以上一节也把缓冲区的设计完成。这节完成损失函数的设计……继续阅读 » 4年前 (2021-04-26) 2203浏览 0评论534个赞
前面几节，我们已经把PPO算法实现完成了，下面只剩下环境了。今天我们把环境的封装完成。对于机械臂或者机器人的训练来说，一个比较好用的仿真器是pybullet，另外一个是unity。gazebo、vrep等虽然可以做，但是相比pybullet直接使用Pyth……继续阅读 » 4年前 (2021-04-26) 2786浏览 0评论2430个赞
