持续技术创新

稳定而有实力的团队,让您业务更放心

hadoop核心基础架构学习分享

来源:宜尚互联 | 作者:pmte79234 | 发布时间: 2020-01-06 | 95次浏览
了解过大数据的朋友对hadoop一定不陌生吧,hadoop可以处理结构化数据,同时也是可以很好的处理非结构化或者半结构化数据,hadoop系统比较的灵活,可扩展性好,性价比高,可靠性高。
      了解过大数据的朋友对hadoop一定不陌生吧,hadoop可以处理结构化数据,同时也是可以很好的处理非结构化或者半结构化数据,hadoop系统比较的灵活,可扩展性好,性价比高,可靠性高。我们都知道hadoop系统上有很多的不同的组件。

首先说一下Namenode和Datenode

  Namenode可以简单的理解为主节点,Datenode从属节点,连在一起Namenode和Datenode之间有Master和Slave的关系,或者说从属关系。其实对于hadoop用户来说,他们不需要了解数据存储的细节,也不需要知道文件的各个数据块是存储在哪些数据节点上的,他们只需要对这些文件进行操作,对应的拆分和多个副本的存储是由系统自动完成的。

 

  和Datenode一样,Namenode节点上也有一个同名的后台进程,而所有的文件匹配信息则保存在一个名为fsimage的文件中,所有的新的操作修改保存在一个名为edits的文件中。edits文件中的内容会定期的写入fsimage文件中。

  底层文件系统HDFS

  在HDFS上,存储的内容可以是任何格式的,为了便于存储和管理数据,HDFS上的文件都被切割成固定大小的数据块,在这里数据块的大小是系统配置的。

  Hadoop上的数据库HBase

  HBase是一个分布式的数据存储系统,它的设计思想就是一个字“大”,简单的说数据量可以很大,数据维度可以很多,HBase可以在很多台服务器上运行。

上一篇:后端架构师的知识体系之一基础组件

下一篇:从程序员小仙飞升上神,java技术开发要如何实现?