对于做ROS或者机器学习、深度学习的小伙伴，（重）装Ubuntu系统已经轻车熟路了吧。不经意间，升级内核导致显驱失效无法开机、ROS不小心搞坏，修复不如重装、或者首次安装系统等困扰，Ubuntu应用商店不好用、挨个装软件又很麻烦、有些软件还要搜索一下安装方式等等苦恼，都交给【Ub……继续阅读 » 4年前 (2021-04-26) 2280浏览 0评论679个赞
自2013年DeepMind的论文Playing Atar……继续阅读 » 4年前 (2021-04-26) 1931浏览 0评论740个赞
使用UR机械臂最新的 ur_robot_driver ……继续阅读 » 4年前 (2021-04-26) 2163浏览 0评论2398个赞
ur机械臂 + robotiq gripper + robotiq ft sensor + gazebo + 连接真实机械臂 + 网页控制仓库地址：[ur_ws](https://github.com/borninfreedom/ur_……继续阅读 » 4年前 (2021-04-26) 2176浏览 0评论735个赞
……继续阅读 » 4年前 (2021-04-26) 1888浏览 0评论2581个赞
这是……继续阅读 » 4年前 (2021-04-26) 1731浏览 0评论1141个赞
在开始之前，先送上本篇文章的彩蛋——我竟然在pybullet里放烟花！！！ 声明：彩蛋与文章主要内容无关，纯粹图个开心。 ……继续阅读 » 4年前 (2021-04-26) 1692浏览 0评论1530个赞
目前训练强化学习智能体需要越来越多的数据和算力，分布式计算是加快训练过程的重要一环。Ray(RLlib)是由UC Berkeley’s RISE Lab在2017年发布，目前已经成为强化学习训……继续阅读 » 4年前 (2021-04-26) 1235浏览 0评论342个赞
超参数的设置对强化学习算法的训练效果起着非常重要的作用，如果超参数没有调整好，可能非常好的网络结构和强化学习算法也发挥不出优势。超参数的调整是一项非常困难又略带玄学的工作，好在ray的tune能自动帮我们进行超参数的调整，找到最优的超参数。 下面我们通过例子来看一下tune的使用……继续阅读 » 4年前 (2021-04-26) 3236浏览 0评论548个赞
ray的强大不仅在于他是分布式计算框架，更是因为有RLLib和tune的加持。tune的使用上一节我们已经讲了，这一节我们来看一下RLLib的使用。虽然后讲的rllib，但是真正训练的时候，还是tune使用的多，因为它调节超参数是很方便的，而rllib不具有自动调节超参数的能力。……继续阅读 » 4年前 (2021-04-26) 2256浏览 0评论426个赞
我们继续上一篇文章pybullet杂谈 ：使用深度学习拟合相机坐标系与世界坐标系坐标变换关系（一），在上一篇文章中，我们完成了物体世界坐标系和相机坐标系的坐标对应关系的数据，以及数据的存取……继续阅读 » 4年前 (2021-04-26) 2998浏览 0评论2755个赞
题目有些啰嗦，到底说了个啥意思呢？ 首先，是一个SlideBars控制，那啥是SlideBars控制呢？ 就……继续阅读 » 4年前 (2021-04-26) 1324浏览 0评论1808个赞
已经脱更好久了，最近在金山实习，白天做公司的游戏项目，晚上做自己的课题，实在是抽不出时间。接下来几篇，我们要实现一个机械臂reach的训练，先看一下要达到的效果。……继续阅读 » 4年前 (2021-04-26) 1758浏览 0评论955个赞
我们继续上一篇文章。上一篇已经完成了critic的设计，下面我们再来把actor完成。……继续阅读 » 4年前 (2021-04-26) 3039浏览 0评论1177个赞
前面两节讲完了critic、actor以及缓冲区的设计，下面就到了actor和critic的损失函数的环节了。对于神经网络来说，最重要的就是计算损失函数进行反向传播更新参数了。在计算损失函数之前，需要有batch的数据，所以上一节也把缓冲区的设计完成。这节完成损失函数的设计……继续阅读 » 4年前 (2021-04-26) 2790浏览 0评论1867个赞
前面几节，我们已经把PPO算法实现完成了，下面只剩下环境了。今天我们把环境的封装完成。对于机械臂或者机器人的训练来说，一个比较好用的仿真器是pybullet，另外一个是unity。gazebo、vrep等虽然可以做，但是相比pybullet直接使用Pyth……继续阅读 » 4年前 (2021-04-26) 3005浏览 0评论1432个赞
