好记忆不如烂笔头,能记下点东西,就记下点,有时间拿出来看看,也会发觉不一样的感受.1 前言Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据,地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件,它海量的存储能力,优秀的随机读写能力,能够处理一些HDFS不足的地方。Clickhouse是一个用于联机分析(OLAP)的列式数据库管理系……继续阅读 » supingemail 4年前 (2021-03-23) 1645浏览 0评论390个赞
MapReduce的运行流程:容错机制:1,重复执行2,推测执行hadoop运行状态进程有SecondaryNameNode、NameNode、DateNode、TaskTracker、JobTrackerWordCount demo使用:1/ java -classpath /opt/hadoop-1.2.1/hadoop-core-1.……继续阅读 » 开心洋葱 7年前 (2018-07-02) 1688浏览 0评论2497个赞
10分钟学习大数据之hadoop实战经典-第04讲 Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等内容提纲:Hadoop硬件选择最低要求中央处理器:两个四核英特尔 Xeon 2.0 GHz CPU内存:8G ECC RAM存储器:4 x TB SATA 磁盘网络:千兆位以太网网络拓扑结构机架感知……继续阅读 » 开心洋葱 8年前 (2016-12-09) 1777浏览 0评论846个赞
10分钟学习大数据之hadoop实战经典-第03讲Hadoop集群安装解析内容提纲:……继续阅读 » 开心洋葱 8年前 (2016-12-09) 2447浏览 0评论818个赞
10分钟学习大数据之hadoop实战经典-第02讲10分钟从技术角度理解Hadoop Hadoop的核心HDFS: Hadoop Distributed File System 分布式文件系统MapReduce:并行计算框架Yarn:集群资源管理和调度框架Hadoop是什么?适合大数据的分布式存储、计算、资源管理平台作者:Do……继续阅读 » 开心洋葱 8年前 (2016-12-09) 2222浏览 0评论605个赞
Hadoop简易实战入门经典教程–第01讲为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark?内容提纲:大数据要解决的三大核心问题存储多种计算范式处理速度Hadoop+SparkHadoopOne stack to rule them allSparkThe codebase in Spark 1.0……继续阅读 » 开心洋葱 8年前 (2016-12-09) 1672浏览 0评论2325个赞