超参数的设置对强化学习算法的训练效果起着非常重要的作用，如果超参数没有调整好，可能非常好的网络结构和强化学习算法也发挥不出优势。超参数的调整是一项非常困难又略带玄学的工作，好在ray的tune能自动帮我们进行超参数的调整，找到最优的超参数。 下面我们通过例子来看一下tune的使用……继续阅读 » 2周前 (08-18) 2722浏览 0评论2717个赞
在开始之前，先送上本篇文章的彩蛋——我竟然在pybullet里放烟花！！！ 声明：彩蛋与文章主要内容无关，纯粹图个开心。 ……继续阅读 » 3周前 (08-11) 2334浏览 0评论1477个赞
ur机械臂 + robotiq gripper + robotiq ft sensor + gazebo + 连接真实机械臂 + 网页控制仓库地址：[ur_ws](https://github.com/borninfreedom/ur_……继续阅读 » 3周前 (08-11) 2348浏览 0评论378个赞
ray的强大不仅在于他是分布式计算框架，更是因为有RLLib和tune的加持。tune的使用上一节我们已经讲了，这一节我们来看一下RLLib的使用。虽然后讲的rllib，但是真正训练的时候，还是tune使用的多，因为它调节超参数是很方便的，而rllib不具有自动调节超参数的能力。……继续阅读 » 3周前 (08-11) 4263浏览 0评论2864个赞
新建环境模型1 新建世界模型2 添加机器人模型3 添加机器人控制器参考资料……继续阅读 » 3周前 (08-11) 2459浏览 0评论635个赞
新建机器人模型1 添加机器人本体1.1 添加Body1.2 添加机器人轮子 ……继续阅读 » 3周前 (08-11) 2310浏览 0评论613个赞
新建机器人控制器1 新建控制器2 控制器说明3 运行效果参考资料……继续阅读 » 3周前 (08-11) 3398浏览 0评论2615个赞
键盘控制小车1. 新建C++控制器2. 代码说明3. 演示效果参考资料……继续阅读 » 3周前 (08-11) 2460浏览 0评论1310个赞
添加camera相机1. 添加camera实体2. 添加camera控制接口代码3. 运行效果参考资料……继续阅读 » 4周前 (08-06) 3728浏览 0评论2186个赞
添加IMU传感器1. 添加姿态测量传感器 InertialUnit1.1添加 InertialUnit实体……继续阅读 » 4周前 (08-06) 3560浏览 0评论2178个赞
添加GPS传感器1. 添加GPS实体2. 添加GPS 控制接口代码3. 运行效果参考资料……继续阅读 » 4周前 (08-05) 3230浏览 0评论544个赞
自2013年DeepMind的论文Playing Atar……继续阅读 » 4周前 (08-04) 3145浏览 0评论543个赞
前面几节，我们已经把PPO算法实现完成了，下面只剩下环境了。今天我们把环境的封装完成。对于机械臂或者机器人的训练来说，一个比较好用的仿真器是pybullet，另外一个是unity。gazebo、vrep等虽然可以做，但是相比pybullet直接使用Pyth……继续阅读 » 4周前 (08-04) 3985浏览 0评论952个赞
已经脱更好久了，最近在金山实习，白天做公司的游戏项目，晚上做自己的课题，实在是抽不出时间。接下来几篇，我们要实现一个机械臂reach的训练，先看一下要达到的效果。……继续阅读 » 4周前 (08-04) 2510浏览 0评论1789个赞
题目有些啰嗦，到底说了个啥意思呢？ 首先，是一个SlideBars控制，那啥是SlideBars控制呢？ 就……继续阅读 » 4周前 (08-04) 3457浏览 0评论1854个赞
我们继续上一篇文章pybullet杂谈 ：使用深度学习拟合相机坐标系与世界坐标系坐标变换关系（一），在上一篇文章中，我们完成了物体世界坐标系和相机坐标系的坐标对应关系的数据，以及数据的存取……继续阅读 » 4周前 (08-04) 2783浏览 0评论2820个赞
使用UR机械臂最新的 ur_robot_driver ……继续阅读 » 4周前 (08-03) 1661浏览 0评论2087个赞
……继续阅读 » 4周前 (08-03) 2168浏览 0评论1501个赞
我们继续上一篇文章。上一篇已经完成了critic的设计，下面我们再来把actor完成。……继续阅读 » 4周前 (08-03) 3241浏览 0评论2610个赞
目前训练强化学习智能体需要越来越多的数据和算力，分布式计算是加快训练过程的重要一环。Ray(RLlib)是由UC Berkeley’s RISE Lab在2017年发布，目前已经成为强化学习训……继续阅读 » 4周前 (08-03) 3528浏览 0评论1484个赞
前面两节讲完了critic、actor以及缓冲区的设计，下面就到了actor和critic的损失函数的环节了。对于神经网络来说，最重要的就是计算损失函数进行反向传播更新参数了。在计算损失函数之前，需要有batch的数据，所以上一节也把缓冲区的设计完成。这节完成损失函数的设计……继续阅读 » 4周前 (08-03) 3647浏览 0评论1473个赞
对于做ROS或者机器学习、深度学习的小伙伴，（重）装Ubuntu系统已经轻车熟路了吧。不经意间，升级内核导致显驱失效无法开机、ROS不小心搞坏，修复不如重装、或者首次安装系统等困扰，Ubuntu应用商店不好用、挨个装软件又很麻烦、有些软件还要搜索一下安装方式等等苦恼，都交给【Ub……继续阅读 » 4周前 (08-03) 2621浏览 0评论2045个赞
这是……继续阅读 » 4周前 (08-03) 3083浏览 0评论1366个赞
开源自主导航小车MickX41 ROS底盘电气系统1.1 底盘机械组装1.2 底盘硬件框图……继续阅读 » 4周前 (08-03) 2463浏览 0评论2810个赞
1 Webot介绍 Webots是一个开源的三维移动机器人模拟器，它与gazebo类似都是ros中仿真环境，但是对于gazebo而言，需要比较复杂的配置，尤其是涉及到使用GPU的时候，对我们这些初学者并不友好。webot在2018年以前是一款商业软件，商业软件的……继续阅读 » 4周前 (08-03) 2048浏览 0评论540个赞
ros 与 matlab 通讯使用的是ros中的主从机策略。 1 准备条件 1、首先我们需要在matlab上安装 “Robotics_System_Toolbox” 工具箱，matlab2015B及以后自动安装有这个工具箱，但是可能由于激活的缘故，使得在输入r……继续阅读 » 4周前 (08-03) 2449浏览 0评论531个赞
Webot 与ROS通讯1 Webot Ubuntu客户端与ROS通讯1.1 配置webots_ros包……继续阅读 » 4周前 (08-03) 2003浏览 0评论955个赞
nav2djs导航组件是通过web网页来控制机器，具体而言，我们在机器人端运行导航算法等，然后再局域网下通过其他的设备端用浏览器查看机器人的地图，并通过在网页上点击的方式设定目标点引导机器人运行到指定位置，如果还对这个组件的功能有疑问的可以查看官方的演示视频：【2】或 ……继续阅读 » 4周前 (08-03) 3819浏览 0评论324个赞
在看完自主导航小车实践的教程（自主导航小车实践）后，很多小伙伴留言说，在学习自主导航小车的时候手上没有合适的ROS机器人底盘做实验……继续阅读 » 4周前 (08-03) 3079浏览 0评论171个赞
新建环境模型1 控制器结构2 操作函数2.1 初始化函数2.2 距离传感器操作函数2.3 ground_sensors 操……继续阅读 » 4周前 (08-03) 2861浏览 0评论2776个赞
开源自主导航小车MickX4 目录 1 ROS底盘运动控制 1.1 小车控制流程图 1.2 小车控制核心代码分析 1.2.1 小车核心代码-遥控器解析 1.2.2 小车核心代码-电机反馈数据 1.2.3 小车核心代码-PI……继续阅读 » 4周前 (08-03) 3188浏览 0评论2896个赞
双目相机计算稠密深度点云 1、ZED相机驱动包 2、校准Z……继续阅读 » 4周前 (08-03) 2532浏览 0评论566个赞
EVO使用教程1 EVO环境安装1.1 二进制安装1.2 源码安装……继续阅读 » 4周前 (08-03) 3347浏览 0评论2676个赞
添加激光传感器1 添加2D雷达实体2 添加3D雷达实体参考资料 激光雷达的添加比较……继续阅读 » 4周前 (08-03) 2865浏览 0评论979个赞
开源自主导航小车MickX4（三）底盘ROS节点1、底盘ROS节点1.1 ROS节点功能定义1.2……继续阅读 » 4周前 (08-03) 2022浏览 0评论1230个赞
与ROS节点通讯1 设置webots控制器2 创建ROS节点3 代码分析3.……继续阅读 » 4周前 (08-03) 2892浏览 0评论1333个赞
与ROS通讯1 Camera 相机2 IMU 传感器3 GPS 传感器4 Lidar传感器……继续阅读 » 4周前 (08-03) 3123浏览 0评论811个赞
与ROS通讯1 Webots仿真2 Gazebo仿真3 Stage仿真参考资料……继续阅读 » 4周前 (08-03) 3111浏览 0评论2008个赞
……继续阅读 » 4周前 (08-03) 3728浏览 0评论3000个赞
在开发ROS项目中我们常常想实现电脑开机以后自动运行一些节点，这里就涉及到了Ubuntu中的一些开机自启动问题，ROS节点的启动与其他脚本的自动运行不一样，不能只写使用rc.local的方式写入，这是因为在那个时候，bash环境还没启动，因此加载不了ROS环境，从而导致启动ROS……继续阅读 » 4周前 (08-03) 2659浏览 0评论629个赞
准备工作 rbgdslam_v2 按照github ,实验环境Ubuntu 16.04, ROS kinetic 如果你电脑安装PCL版本是1.7，那么请直接跳到错误1，如果你……继续阅读 » 4周前 (08-03) 2337浏览 0评论581个赞
一. 代码下载 代码Github主页：https://github.com/leggedrobotics/darknet_ros ……继续阅读 » 4周前 (08-03) 3399浏览 0评论1708个赞
ROS中catkin CMakeLists.txt的内容。 CMakeList.txt文件是CMake编译系统编译软件包过程的输入文件。任何CMake兼容包都包含一个或多个CMakeLists.txt文件，这些文件描述了如何编译代码以及将其安装到哪里。将CMakeL……继续阅读 » 4周前 (08-03) 2705浏览 0评论1896个赞
仿真机器人加真实机器人功能包下载链接https://download.csdn.net/download/qq_4214……继续阅读 » 4周前 (08-03) 3037浏览 0评论2640个赞
自定义Action消息 Action的消息规范主要是为了描述Client端和Server端交互的数据格式，具体来说，就是为了去描述Goal，Feed……继续阅读 » 4周前 (08-03) 2802浏览 0评论1965个赞
