一、大数据诞生，概述
数据是一种可以被鉴别的对客观事物进行记录的符号，丰富的数据支撑可以让我们更好地了解事物在现实世界的运行规律，现在是数据的时代，数据非常重要并且蕴含巨大的价值。
大数据的出现，本质就是为了解决海量数据的处理难题，大数据的核心工作就是从海量的高增长，多类别，低信息密度的数据中挖掘出高质量的结果。
大数据使用分布式技术完成海量数据的处理，得到数据背后蕴含的价值。
特征：体积，种类，价值，速度，质量；volume,variety,value,velocity,veracity
Hadoop是一款开源的分布式处理技术栈，提供了
- 分布式数据存储技术Hadoop HDFS
- 分布式数据计算技术 Hadoop MapReduce
- 分布式资源调度技术 Hadoop YARN
Apache Hadoop开源 ---> Apache HBase NoSQL数据库 ---> Apache Flume流式数据传输工具 ---> Apache Kafka分布式消息队列 ---> Apache Hive分布式SQL平台 ---> Apache Spark分布式内存计算 ---> Apache Flink流计算平台 ...
二、大数据的软件生态也是围绕这几点核心工作展开的
- 数据存储：保存海量待处理数据
- 数据计算：海量数据的价值挖掘
- 数据传输：协助各个环节的数据传输
三、Hadoop概述
Hadoop是分布式软件框架，可以部署在1台乃至成千上万台服务器节点上协同工作。内部细分为三个功能组件，分别是HDFS组件，MapReduce组件和YARN组件。
Hadoop有官方社区版（http://hadoop.apache.orrg）和商业发行版，商业发行版有CDH和星环。
以下使用Hadoop3.3.4；
四、分布式存储
数据量变大的时候，单机存储的能力有上限，需要考数量解决问题，多个服务器一起存数据，读写速度，cpu，内存等各方面都会带来成倍的提升
——-—— ——-——
|文件1| |服务器|
|文件2| --->|服务器|
|文件3| |服务器|
——-—— ——-——
五、分布式的基础架构
大数据体系中，分布式的调度主要有两类架构模式，保证众多服务器一起高效工作：
- 去中心化
- 中心化
去中心化众多服务器之间基于特定规则进行同步协调，中心化有一个主服务器进行调度；
大数据框架大多数基础架构上都是符合中心化模式的，有一个中心节点统筹其他服务器的工作，Hadoop就是一个中心化模式架构的技术框架。
六、HDFS的基础架构
HDFS（Hadoop distributed file system）Hadoop分布式文件系统是Hadoop技术栈提供的数据存储解决方案，可以在多台服务器上构建存储集群，存储海量数据。
HDFS集群：
主角色NameNode
主角色辅助角色：SecondaryNameNode
从角色：DataNode
主角色管理HDFS集群和DataNode角色，从角色负责数据的存储，辅助角色协助主角色整理元数据。
NameNode<------>SecondaryNameNode| |
DataNode DataNode
https://www.bilibili.com/video/BV1WY4y197g7?spm_id_from=333.788.videopod.episodes&vd_source=1a563cd2b3f3fdeb2a16cbbf18022d2f&p=7
https://www.bilibili.com/video/BV1WY4y197g7?spm_id_from=333.788.videopod.episodes&vd_source=1a563cd2b3f3fdeb2a16cbbf18022d2f&p=22