前言 本文我们来探讨下映射动态模型的几种方式,相信一部分童鞋项目有这样的需求,比如每天/每小时等生成一张表,此种动态模型映射非常常见,经我摸索,这里给出每一步详细思路,希望能帮助到没有任何头绪的童鞋,……继续阅读 » Jeffcky 4年前 (2021-04-01) 1456浏览 0评论1988个赞
本文描述了在一次压测过程中,由于Index Merge优化导致的死锁,详细描述了死锁产生的原因以及解决方案,并顺便介绍了Mysql索引结构及加锁机制。通过本文,大家可以掌握死锁分析的基本理论和一般方法……继续阅读 » vivo互联网技术 4年前 (2021-04-01) 2381浏览 0评论1347个赞
今天我们来详细了解一下主从同步延迟时读写分离发生写后读不到的问题,依次讲解问题出现的原因,解决策略以及 Sharding-jdbc、MyCat 和 MaxScale 等开源数据库中间件具体的实现方案。……继续阅读 » 程序员历小冰 4年前 (2021-04-01) 1403浏览 0评论1719个赞
测试开发必备技能:安全测试……继续阅读 » 开心洋葱 4年前 (2021-04-01) 1961浏览 0评论133个赞
前言 最近在用 Go 写业务的时碰到了并发更新数据的场景,由于该业务并发度不高,只是为了防止出现并发时数据异常。 所以自然就想到了乐观锁的解决方案。 实现 乐观锁的实现比较简单,相信大部分有数据库使用……继续阅读 » crossoverJie 4年前 (2021-04-01) 2301浏览 0评论2160个赞
一、分布式锁概述 1.1、分布式锁作用 1)在分布式系统环境下,一个方法在同一时间只能被一个机器的一个线程执行 2)具备高可用、高性能的获取锁与释放锁 3)具备锁失效机制,防止死锁 4)具备非阻塞锁(……继续阅读 » LanceToBigData 4年前 (2021-04-01) 1627浏览 0评论1495个赞
一个很清晰的架构实践,同时刨刨MySQL的坑。 一、洋葱架构简介 洋葱架构出来的其实有一点年头了。大约在2017年下半年,就有相关的说法了。不过,大量的文章在于理论性的讨论,而我们今天会用一个项目来完……继续阅读 » 老王Plus 4年前 (2021-04-01) 1173浏览 0评论2125个赞
一、前言 最近,由于好久没升级底层框架,一直用着netcore2.2版本,导致有些包没能更新到最新的版本,例如:CAP。 然而,在最近升级到CAP:3.1.2版本的时候,发现有点小坑,只能退回到CAP……继续阅读 » 简玄冰 4年前 (2021-04-01) 2338浏览 0评论267个赞
分享两个常用的代码生成工具: gormgen handlergen gormgen 基于 MySQL 数据表结构进行生成 3 个文件: 生成表的 struct 结构体 生成表的 Markdown 文档……继续阅读 » 新亮笔记 4年前 (2021-04-01) 2120浏览 0评论988个赞
在上一章中,文末留下了一个坑待填补,疑问是这样的: 目前从官方文档中看到的是 We have to be careful though, because pytest will run that fi……继续阅读 » 把苹果v咬哭 4年前 (2021-04-01) 2256浏览 0评论2089个赞
一、大幅度制约存储介质吞吐量的原因 首先抛出结论。无论任何存储介质(不管是机械硬盘还是SSD,抑或是内存)的顺序访问速度都远远高出随机访问的速度。 二、传统数据库的实现机制 传统数据库,比如Mysql……继续阅读 » 西北偏北UP 4年前 (2021-04-01) 1738浏览 0评论1546个赞
关于MVCC的原理,在《我想进大厂》之mysql夺命连环13问写过一次,但是当时写的其实并不准确,这个理解可以应付面试,帮助快速理解,但是他的真正实现原理我想再次拿出来说一说。 简单理解版 以下先引用……继续阅读 » 艾小仙 4年前 (2021-04-01) 2305浏览 0评论2513个赞
回顾一下上面几篇索引相关的文章: MySQL全面瓦解22:索引的介绍和原理分析 MySQL全面瓦解23:MySQL索引实现和使用 MySQL全面瓦解24:构建高性能索引(策略篇) 索引的十大原则 1、……继续阅读 » 翁智华 4年前 (2021-04-01) 2259浏览 0评论767个赞
背景 自研工具是为了解决内部问题而生,希望通过这些问题引起大家的共鸣: 是否知道重要的业务,该页面是可以正常服务于用户的? 能否在问题还没有大规模爆发之前,快速的感知到业务的异常? 怎么不去用户的电脑……继续阅读 » 吴佰清 4年前 (2021-04-01) 2985浏览 0评论939个赞
本次我们聊一聊Elasticsearch的基本操作CRUD,他跟我们常用的关系型数据库的操作又有什么不一样的地方呢?今天我们就来好好讲解一番。……继续阅读 » 狼爷 4年前 (2021-04-01) 2519浏览 0评论2365个赞
在开发中往往会出现查询多表联查的情况,那么就会用到 join 查询。 Join查询种类 为了方便说明,先定义一个统一的表,下面再做例子。 CREATE TABLE `t2` ( `id` i……继续阅读 » 开心洋葱 4年前 (2021-04-01) 1148浏览 0评论1592个赞
聚合是一种基于搜索的数据汇总,通过组合可以完成复杂的操作。聚合可以对文档进行汇总、分组等。通过聚合,我们会得到一个数据的概览,是分析和总结全部的数据,而不是寻找单个文档。同时本文还将聚合分析的原理及精……继续阅读 » 狼爷 4年前 (2021-04-01) 1338浏览 0评论766个赞
本文主要概括的是 WAL 机制涉及的三种日志,具体与其他组件的联系、执行可查看 一条 sql 的执行过程详解 、MySQL中的事务原理和锁机制 。 是什么 WA……继续阅读 » 开心洋葱 4年前 (2021-04-01) 2546浏览 0评论2367个赞
前言 这篇文章的题目,是我真实在面试过程中遇到的问题,某互联网众筹公司在考察面试者MySQL相关知识的第一个问题,我当时还是比较懵的,没想到这年轻人不讲武德,不按套路出牌,一般的问MySQL的相关知识……继续阅读 » 纪莫 4年前 (2021-04-01) 2848浏览 0评论2758个赞
HBase简介 HBase 是一个分布式的、面向列的开源数据库。建立在 HDFS 之上。Hbase的名字的来源是 Hadoop database,即 Hadoop 数据库。HBase 的计算和存储能力……继续阅读 » 五分钟学大数据 4年前 (2021-04-01) 1510浏览 0评论2744个赞
一、MySQL简介 数据库是一个以某种有组织的方式存储的数据集合,它是一个按数据结构来存储和管理数据的计算机软件系统。理解数据库的一种最简单的办法是将其想象为一个文件柜,这个文件柜只是一个存储数据的空……继续阅读 » MXC肖某某 4年前 (2021-04-01) 2623浏览 0评论1026个赞
经过一段时间的磨合,逐渐熟悉了测试相关的工作,作为测试主管,负责ERP系统的软件测试,产品交付。 1. 只关注C/S架构的UI,B/S和手机端暂不展开。有同事说,B/S页面做好之后,手机端可以借助自适……继续阅读 » 信息化建设 4年前 (2021-04-01) 1972浏览 0评论2399个赞
一、迁移背景 服务器出了问题,导致整个cm server界面呈现出不可用的状态,也就是获取不到各个大数据组件以及主机相关的状态的信息,整个cm server的前端界面处于瘫痪的状态,不可用,刚开始怀疑……继续阅读 » 一寸HUI 4年前 (2021-04-01) 2860浏览 0评论2503个赞
前言 上篇文章吧啦吧啦讲了一些有的没的,现在还是回到主题写点技术相关的。本篇文章作为基础爬虫知识的最后一篇,将以爬虫程序的模块设计来完结。 在我漫(liang)长(nian)的爬虫开发生涯中,我通常将……继续阅读 » Seven0007 4年前 (2021-04-01) 1221浏览 0评论1260个赞
一级缓存 MyBatis一级缓存上SqlSession缓存,即在统一SqlSession中,在不执行增删改操作提交事务的前提下,对同一条数据进行多次查询时,第一次查询从数据库中查询,完成后会存入缓……继续阅读 » 列兵许三多 4年前 (2021-04-01) 1981浏览 0评论1902个赞
视图、存储过程以及权限控制 导读: 该文章为视图、存储过程、用户权限练习; 如果有不对的地方欢迎指出与补充; 该基础练习基于MySQL5.0以上; 语句格式: 1. 视图格式: create view……继续阅读 » xbhog 4年前 (2021-04-01) 2683浏览 0评论1171个赞
在一般系统开发中,我们一般要借助于高度定制化的代码生成工具,用于统一代码风,节省开发时间,提高开发效率。不同的项目,它的项目不同分层的基类定义不同,我们需要在框架基类的基础上扩展我们的业务类代码,尽量……继续阅读 » 开心洋葱 4年前 (2021-04-01) 1243浏览 0评论1920个赞
什么是流量控制? Percona XtraDB Cluster具有一种称为流控制的自调节机制。该机制有助于避免集群中最弱/最慢的成员明显落后于集群中其他成员的情况。 当集群成员在写数据很慢(同时又继续……继续阅读 » 空壳先生 4年前 (2021-04-01) 2248浏览 0评论518个赞
虽然通过改写Not in Subquery的SQL,进行低效率的SQL到高效率的SQL过渡,能够避免上面所说的问题。但是这往往建立在我们发现任务执行慢甚至失败,然后排查任务中的SQL……继续阅读 » 大数据学习与分享 4年前 (2021-04-01) 2120浏览 0评论1311个赞
事务的特性 ACID是事务应该具备的特性,一个标准的事务处理系统必须具备这些标准特征: A(atomicity)——原子性: 一个事务是不可被分割的单元,一个事务里的所有操作要么全部成功、要么全部失败……继续阅读 » Gouden 4年前 (2021-04-01) 1562浏览 0评论2872个赞
MySQL 死锁遇到过吗?该怎么分析?如何避免……继续阅读 » 是小桔啦 4年前 (2021-04-01) 1539浏览 0评论338个赞
一、背景 使用postman进行接口自动化测试时,除了要验证接口的返回,有时候还要同时验证数据库的数据,或者将接口返回的数据与数据库的数据做对比,检验数据的正确性。 有的时候还需要在执行自动化case……继续阅读 » 开心洋葱 4年前 (2021-04-01) 2765浏览 0评论1169个赞
前言:Docker端口映射往往是Docker Run命令时通过-p将容器内部端口映射到宿主机的指定端口上,一般来说容器的端口所对应的端口是提前确定需要映射的。但是有些情况下不得不需要临时映射端口,例如……继续阅读 » 老舰长不靠浆 4年前 (2021-04-01) 3026浏览 0评论2820个赞
一、SQL分析 性能下降、SQL慢、执行时间长、等待时间长 查询语句写的差 索引失效关联查询太多join(设计缺陷) 单值索引:在user表中给name属性创建索引,create index……继续阅读 » MXC肖某某 4年前 (2021-04-01) 1715浏览 0评论1535个赞
使用Flink SQL结合Kafka、Elasticsearch、Kibana实时分析电商用户行为(Use flink sql to combine kafka, elasticsearch and……继续阅读 » 堅持╅信念★ 4年前 (2021-04-01) 2080浏览 0评论1906个赞
MVCC,即多版本并发控制(Multi-Version Concurrency Control)指的是,通过版本链维护一个数据的多个版本,使得读写操作没有冲突,可保证不同事务读写、写读操作并发执行,提……继续阅读 » 数小钱钱的种花兔 4年前 (2021-04-01) 1647浏览 0评论2839个赞
索引是什么 假如你手上有一个你公司的客户表,老板说找什么客户你就得帮他找出来。 客户不多的时候,你拿着手指一行一行滑,费不了多少时间就能找到。 后来公司做大了,客户越来越多,好几页的客户,你发现,一行……继续阅读 » TandK 4年前 (2021-04-01) 2339浏览 0评论1254个赞
老刘是一名即将找工作的研二学生,写博客一方面是复习总结大数据开发的知识点,一方面是希望能够帮助和自己一样自学编程的伙伴。由于老刘是自学大数据开发,博客中肯定会存在一些不足,还希望大家能够批评指正,让我……继续阅读 » 努力的老刘 4年前 (2021-04-01) 2364浏览 0评论1243个赞
CNCF,英文全称为Cloud Native Computing Foundation,中文译为“云原生计算基金会”, 构建可持续生态系统,并围绕一系列高质量开源项目促进社区的发展,本文大概介绍下几个……继续阅读 » SpringLeee 4年前 (2021-04-01) 2544浏览 0评论1457个赞
之前有写过对于传统项目的性能测试监控,但是对于目前市场占比已经很低,大部分项目使用k8s,今天讲一下对于k8s如何去监控。 对于k8s的监控我们所有的操作都要在master下进行。 一、部署grafa……继续阅读 » 白加黑呀 4年前 (2021-04-01) 2485浏览 0评论2663个赞
1 背景 2020年工作上的最大收获就是初步完善了系统的监控告警体系。 2020年工作上可谓是非常苦逼的,项目上忙到脚打后脑勺的同时还被各种发布问题、生产故障按在地上摩擦。可怜还因疫情原因公司福利大大……继续阅读 » 老于` 4年前 (2021-04-01) 1309浏览 0评论2246个赞
Stream是什么? Java从8开始,不但引入了Lambda表达式,还引入了一个全新的流式API:Stream API。它位于java.util.stream包中。 Stream 使用一种类似用 S……继续阅读 » 说故事的五公子 4年前 (2021-04-01) 3070浏览 0评论203个赞
今天,我们很兴奋地与你分享Entity Framework Core 6.0的计划。 这个计划汇集了许多人的意见,并概述了我们打算在哪里以及如何优化实体框架(EF Core) 6.0版本。这个计划并不……继续阅读 » 码农译站 4年前 (2021-04-01) 1303浏览 0评论1357个赞
数据库题目 2020RWCTF DBaaSadge WP 这是一个很有意思的题目,难到让我绝望,跟着大佬smity的思路跑一下,求大佬抱抱。 https://mp.weixin.qq.com/s/jv……继续阅读 » print(Dem0) 4年前 (2021-04-01) 1445浏览 0评论1452个赞
一、查询优化 1,mysql的调优大纲 慢查询的开启并捕获 explain+慢SQL分析 show profile查询SQL在Mysql服务器里面的执行细节和生命周期情况 SQL数据库服务器的参数调优……继续阅读 » MXC肖某某 4年前 (2021-04-01) 1465浏览 0评论1596个赞