好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.前言前面一篇文章写了《SimpleDateFormat 如何安全的使用？》, 里面介绍了 SimpleDateFormat 如何处理日期／时间，以及如何保证线程安全，及其介绍了在 Java 8 中的处理时间／日期默认就线程安全的 DateTimeFormatter 类。那么 J……继续阅读 » supingemail 5年前 (2021-03-23) 3216浏览 0评论1841个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.业务场景达达是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似，以众包的方式利用社会闲散人力资源，解决O2O最后三公里即时性配送难题。 达达业务主要包含两部分：商家发单，配送员接单配送，如下图所示。达达的业务规模增长极大，在1年左右的时间从零增长到每天……继续阅读 » supingemail 5年前 (2021-03-23) 2208浏览 0评论2075个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.一、前言中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。水平拆分的概念，是同一个业务数据量大之后，进行水平拆分。上图……继续阅读 » supingemail 5年前 (2021-03-23) 2571浏览 0评论1090个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.一、NIFI简介NiFi是一个易用、可靠、功能强大的数据处理与分发系统，是Apache的开源项目。只需在web界面中用拖拽的方式定义数据处理节点，数据处理流程和配置相关参数，NiFi即可自动完成复杂的数据处理任务，非常方便。这里介绍NiFi 1.9.2的安装和启动方法。二、单机……继续阅读 » supingemail 5年前 (2021-03-23) 3140浏览 0评论1158个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.以下为本人初学 MySQL 时做的笔记，也从那时起没再更新过，但还是囊括了基本的知识点，有时还翻出来查查。Windows服务– 启动MySQL net start mysql– 创建Windows服务 sc create mysql binP……继续阅读 » supingemail 5年前 (2021-03-23) 2083浏览 0评论1950个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录准备机器: 2.配置内部zookeeper的属性: 3.设置集群的通信连接串 4.修改nifi.properties的配置文件属性 5.创建zookeeper的myid文件 6.校验是否安装成功.7.注意项目. 准备机器: 1………继续阅读 » supingemail 5年前 (2021-03-23) 3030浏览 0评论425个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录 1.准备机器: 2.安装zookeeper集群:a.下载b.配置zoo.cfgc.新建myid文件并写入集群标识d.检测是否安装成功3.下载nifi配置zk连接串:4.修改nifi的配置: 1.S to S 設置修改: 2.Web UI设置: ………继续阅读 » supingemail 5年前 (2021-03-23) 2059浏览 0评论622个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.利用nifi搬运文件将指定目录input下的test.txt文件搬运到output文件夹下去.:a. 从工具栏中拖入一个Processor，在弹出面板中搜索GetFIle，然后确认设置GetFile的文件输出地址,每次移动多少个文件,是否保留文件等设置:(保证input文件夹下……继续阅读 » supingemail 5年前 (2021-03-23) 2062浏览 0评论2106个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 在csdn上找了篇翻译的比较好的nifi的开发指南，指南的地址是： https://blog.csdn.net/zhanglong_4444/article/details/88692667#introduction 对于想进一步学习nifi的人来说，还是不错的入……继续阅读 » supingemail 5年前 (2021-03-23) 2034浏览 0评论1412个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.利用nifi统计单词出现的次数从工具栏中拖入一个Processor，在弹出面板中搜索GenerateFlowFile，然后确认，设置GenerateFlowFile 的属性如下：注意看属性的设置, 尤其要输入custom text的内容: 本例中输入的text内容是：With ……继续阅读 » supingemail 5年前 (2021-03-23) 2725浏览 0评论2264个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.NiFi 总结一个易用、强大、可靠的数据处理与分发系统。基于Web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集等功能一、什么是NiFi?NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品，2014年NAS将其贡献给了Apache社区，2015年成为A……继续阅读 » supingemail 5年前 (2021-03-23) 2242浏览 0评论2616个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.简单描述一下自己通过学习nifi和查看源码，然后自己通过nifi的体现很基础的实现自己的业务的处理器开发。适合刚入门的看，有nifi基础的，可以跳过！目录一、 获取一个json文件的文本信息.1.Json文档的输入端，需要一个GenerateFlowFile处理器,做如下配置:……继续阅读 » supingemail 5年前 (2021-03-23) 1503浏览 0评论896个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.介绍下从kafka中获取数据，然后放入到 mysql 的操作！目录目标一、准备工作1.kafka集群2.zookeeper集群3.数据表4. 造数程序5.发送程序二、NIFI UI配置1.kafka的处理器2.EvaluateJsonPath处理器配置3.Spl………继续阅读 » supingemail 5年前 (2021-03-23) 1615浏览 0评论506个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.业务背景：接一个征信公司的api，然后快速解析，批量入库的操作！记录一下流水账,主要是记录关于Statement执行批处理操作，sql后边不允许加”;”的异常 ！！！目录梳理1.Jdbc连接池代码 :2. jdbc url 配置4.结论5.总结梳理1. ……继续阅读 » supingemail 5年前 (2021-03-23) 2709浏览 0评论2691个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录1 秒杀业务分析2 秒杀技术挑战3 秒杀架构原则4 秒杀架构设计4.1 前端层设计4.2 站点层设计4.3 服务层设计4.4 数据库设计4.4.1 基本概念4.4.2 设计思路5 大并发带来的挑战5.1 请求接口的合理设计5.2 高并发的挑战：一定要“快”………继续阅读 » supingemail 5年前 (2021-03-23) 1401浏览 0评论721个赞
好记忆不如烂笔头, 能记下点什么, 就记下点什么, 方便后期的巩固Mysql数据库查询Sql的执行顺序是什么？目录Mysql数据库查询Sql的执行顺序是什么？1.FROM 执行笛卡尔积2.ON 应用ON过滤器3.JOIN 添加外部行4.WHERE 应用WEHRE过滤器5.GROUP BY 分组6.AGG_FUNC 计算聚合函数7.WITH 应用ROLLUP或……继续阅读 » supingemail 5年前 (2021-03-23) 2211浏览 0评论1351个赞
好记忆不如烂笔头, 能记下点什么, 就记下点什么, 方便后期的巩固.一.介绍 1.什么是索引？ 2.为什么要有索引呢？ 二.索引的原理 1.原理 2.磁盘IO与预读 3.索引的数据结构 4.b+树的查找过程 5.b+树性质 三.索引管理 1.MySQL的索引分类 2.各索引应用场景 3.索引类型 4.操作索引 5.唯一索引 四.测试&……继续阅读 » supingemail 5年前 (2021-03-23) 3207浏览 0评论397个赞
本文主要介绍架构设计的相关概念，系统复杂度的来源，架构设计的基本原则和流程。好几个人问我要关于如何在docker上安装可视化组件superset，索性我就写下安装步骤到博客上来，方便大家查阅！目录一、安装前准备: 二、选择superset镜像：三、安装superset容器:四、配置superset容器：一、安装前准备: 1.查看docker版本………继续阅读 » supingemail 5年前 (2021-03-23) 2926浏览 0评论2902个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录1、生成思路2、创建普通表及内存表3、创建函数4.创建存储过程5、调用存储过程6、插入普通表中1、生成思路利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中2、创建普通表及内存表普通表CREATE TABLE ̷……继续阅读 » supingemail 5年前 (2021-03-23) 3412浏览 0评论1921个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.最近在写一个集群监控的项目，但是感觉全都是自己想的，没有参考其他人的设计思想方法，于是就在知网上搜了一下，发现了几个论文挺好的，但是下载下来是CAJ格式的文件，我一般都是在linux环境下工作的，发现Linux无法打开CAJ文件，而且CAJViewer只有windows版的，于……继续阅读 » supingemail 5年前 (2021-03-23) 2097浏览 0评论904个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录01-datax 安装02-添加插件03-kylin插件04-配置运行任务05-同步结果“路漫漫其修远兮，吾将上下而求索”如何基于Datax 3.x实现 kylin数据同步到ES的操作,具体可以分为如下几步。对于不熟悉datax的，可以去https://github.com……继续阅读 » supingemail 5年前 (2021-03-23) 1763浏览 0评论1647个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录目标思路解决方案kibana 6目标今天在kibana 7 上做轨迹的处理，kibana 默认的轨迹是使用的google的地图来展示的，对于国人来说，还是有些别扭的，毕竟大家习惯了汉字，所以就需要将默认的地图展现换成国人习以为常的中文展示。思路查找 kibana 的设置，根……继续阅读 » supingemail 5年前 (2021-03-23) 2645浏览 0评论1423个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录一、问题二、方案三、代码四、总结一、问题 在Springboot做系统的页面嵌入的时候，报错如下：Refused to display ‘http://xxx.com/#/aa/bb’ in a frame because it set ‘……继续阅读 » supingemail 5年前 (2021-03-23) 3128浏览 0评论2692个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. Springboot项目非SpringMvc项目,日志的输出不能随心所欲，那么如何在springboot项目中优雅的输出日志呐 ，具体可以看如下四步演变。正常启动 ,下面会选择application.properties中配置默认的启动文件进行启动，下面这种情况不能根据实……继续阅读 » supingemail 5年前 (2021-03-23) 2361浏览 0评论704个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录一、京东到家订单中心 Elasticsearch 演进历程二、携程Elasticsearch应用案例1. 携程酒店订单Elasticsearch实战2. 携程机票ElasticSearch集群运维驯服记3. 携程：大规模 Elasticsearch 集群管理心得三、去哪儿：……继续阅读 » supingemail 5年前 (2021-03-23) 2154浏览 0评论2469个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.Dataway介绍Dataway 是基于 DataQL 服务聚合能力，为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。 整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到……继续阅读 » supingemail 5年前 (2021-03-23) 2161浏览 0评论1283个赞
思考概念实录-张一鸣的神话传说这张不经意流出的照片，是中国互联网中最成功的一拨人，但坐在他们中间的张一鸣，却显得格格不入。张一鸣，1983年出生于福建龙岩，与美团创始人王兴、雪球方三文并称“龙岩三杰”。这个桌上论年龄，张一鸣和滴滴的程维最年轻；论资历，张一鸣只有南开大学本科做背书。论战绩，同时期的美团、滴滴都是和同量级的对手厮杀，然后融入阿里、腾………继续阅读 » supingemail 5年前 (2021-03-23) 2214浏览 0评论1184个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录概况登录流程图片验证码校验短信验证码校验调用处理总结概况网络上关于Spring Security Oauth2 用户名密码登录的处理已经多的数不胜数了，关于它的用户名和验证码登录也说的比较多，但是在已经存在的系统上，实现用户名密码+验证码登录校验 或者是 用户名短信验证码+……继续阅读 » supingemail 5年前 (2021-03-23) 1832浏览 0评论616个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.安全措施个人觉得安全措施大体来看主要在两个方面，一方面就是如何保证数据在传输过程中的安全性，另一个方面是数据已经到达服务器端，服务器端如何识别数据，如何不被攻击；下面具体看看都有哪些安全措施。1.数据加密我们知道数据在传输过程中是很容易被抓包的，如果直接传输比如通过http协议……继续阅读 » supingemail 5年前 (2021-03-23) 2447浏览 0评论2946个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.FastJson为何物首先抄录一段来自官网的介绍：FastJson是阿里巴巴的开源JSON解析库，它可以解析JSON格式的字符串，支持将Java Bean序列化为JSON字符串，也可以从JSON字符串反序列化到JavaBean。FastJson是Java程序员常用到的类库之一，……继续阅读 » supingemail 5年前 (2021-03-23) 1572浏览 0评论271个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.1.查询当前数据库所有表结构的信息select table_name tableName, engine, table_comment tableComment, create_time createTime from information_schema.tableswh……继续阅读 » supingemail 5年前 (2021-03-23) 2210浏览 0评论1826个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录常用方式velocity三种reference基本语法1、变量2、循环3、条件语句4、语句嵌套5、注释6、关系和逻辑操作符7、velocity中的宏8、#stop9、$include和#parse10、转义字符11、内置对象12、数组访问常用方式for循环 #foreach……继续阅读 » supingemail 5年前 (2021-03-23) 1672浏览 0评论2720个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.前言日期和时间是每个系统，每个数据库设计必不可少的部分。也是容易被大家忽视的部分。很多开发者可能根本不了解以不同类型存储日期和时间意味着什么。有朋友可能会说，数据库定义一个datetime或timestamp类型的字段，然后在Java代码中获取当前时间并存入数据库不就可以了吗？……继续阅读 » supingemail 5年前 (2021-03-23) 2048浏览 0评论1182个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.System.currentTimeMillis()是极其常用的基础Java API，广泛地用来获取时间戳或测量代码执行时长等，在我们的印象中应该快如闪电。但实际上在并发调用或者特别频繁调用它的情况下（比如一个业务繁忙的接口，或者吞吐量大的需要取得时间戳的流式程序），其性能表现……继续阅读 » supingemail 5年前 (2021-03-23) 1789浏览 0评论824个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录一、注解(annotations)列表二、注解(annotations)详解三、JPA注解四、springMVC相关注解五、全局异常处理一、注解(annotations)列表@SpringBootApplication：包含了@ComponentScan、@Configur……继续阅读 » supingemail 5年前 (2021-03-23) 2436浏览 0评论494个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录一、背景二、测试环境三、binlog_format为ROW四、binlog_format为STATEMENT一、背景本文主要测试MySQL执行update语句时，针对与原数据（即未修改）相同的update语句会在MySQL内部重新执行吗？二、测试环境MySQL5.7.25C……继续阅读 » supingemail 5年前 (2021-03-23) 1925浏览 0评论2588个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录放置地址启动脚本停止脚本放置地址先说我的脚本地址：脚本放置在bin目录下, logs 为日志目录.启动脚本启动脚本(start.sh)，不多说，看脚本：#!/bin/bashCURR_DIR=`dirname $0`cd $CURR_DIRif [ ! -d “……继续阅读 » supingemail 5年前 (2021-03-23) 2501浏览 0评论273个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.如图是我的信用 , 在页面上的展示要生成报告，因为html在处理上失真了，所以只能是按照图片进行位移了。图一 图二利用这两张图的位移来实现如上图的展示.结果如图所示：图三具体实现：计算出图一的图片的长度，根据评级的CR1….CR7 的位置，计算出位移大小，把图二……继续阅读 » supingemail 5年前 (2021-03-23) 1532浏览 0评论380个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.前言什么是悲观锁-synchronized、乐观锁-CAS实现？比较和交换（Conmpare And Swap）是用于实现多线程同步的原子指令。 它将内存位置的内容与给定值进行比较，只有在相同的情况下，将该内存位置的内容修改为新的给定值。 这是作为单个原子操作完成的。 原子性保……继续阅读 » supingemail 5年前 (2021-03-23) 2054浏览 0评论1744个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.前言：秒杀系统相信很多人见过，比如京东或者淘宝的秒杀，小米手机的秒杀。那么秒杀系统的后台是如何实现的呢？我们如何设计一个秒杀系统呢？对于秒杀系统应该考虑哪些问题？如何设计出健壮的秒杀系统？本期我们就来探讨一下这个问题：目录一：秒杀系统应该考虑的问题二：秒杀系统的设计和技术方案三……继续阅读 » supingemail 5年前 (2021-03-23) 1972浏览 0评论540个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.对于以OSX / Linux为开发环境的伙伴们，应该并不陌生。因其轻便，扩展性，可定制化，一直很受开发者追捧。高阶大神，袖中必有深藏。Vim编辑器简洁易用，在终端上可用来快速查看修改文档。虽然与其他编辑器如WebStrom、VScode相比，功能扩展相对欠缺，对新手朋友不太友好……继续阅读 » supingemail 5年前 (2021-03-23) 2664浏览 0评论168个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 一、前言 二、分布式ID的几种生成方案 2.1、UUID 2.2、MySQL主键自增 2.3、MySQL多实例主键自增 2.4、雪花snowflake算法 2.5、Redis生成方案 2.6、小结 三、一线大厂……继续阅读 » supingemail 5年前 (2021-03-23) 3372浏览 0评论2517个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录1.前言2.反向代理2.1 代理的作用2.2 代理的分类2.3 静态代理2.4 动态代理3. 总结1.前言系统开发已经由单体服务转向为一个一个的微小服务，微小服务的好处就是每个服务只需要关心自己内部的业务，当需要相关业务数据的时候，就会面临服务调用的问题，服务调用其实也好解……继续阅读 » supingemail 5年前 (2021-03-23) 2899浏览 0评论308个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录问题概述方案概述方案一详细说明：优化现有mysql数据库引擎方案二详细说明：升级数据库，换一个100%兼容mysql的数据库方案三详细说明：去掉mysql，换大数据引擎处理数据问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表……继续阅读 » supingemail 5年前 (2021-03-23) 2498浏览 0评论2740个赞
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.目录1.feign和ribbon区别，ribbon和nginx 的区别2.微服务拆分原则和方法3.NIO和BIO 的区别4.Netty用的啥实现1.feign和ribbon区别，ribbon和nginx 的区别客户端负载均衡器和服务端负载均衡器的关系。以这两个类型来分：服务器端……继续阅读 » supingemail 5年前 (2021-03-23) 3301浏览 0评论1850个赞
