化州| 马关| 龙口| 桂东| 阿勒泰| 尤溪| 祁门| 东港| 龙川| 甘谷| 广州| 玉溪| 云林| 白河| 灵台| 凤城| 当涂| 鄢陵| 墨脱| 海兴| 尉犁| 济南| 长顺| 麻栗坡| 嘉荫| 晋宁| 靖江| 汉寿| 洛宁| 正定| 巫山| 亳州| 宜君| 金寨| 阿荣旗| 丰台| 乌当| 许昌| 通化县| 安平| 青县| 清河门| 鹤壁| 遂宁| 和硕| 临洮| 凭祥| 四平| 广昌| 绍兴县| 兰西| 金溪| 惠东| 高淳| 江阴| 东山| 湘东| 西林| 泸县| 昌黎| 弥渡| 龙湾| 勃利| 思南| 张家界| 通江| 黄岛| 如东| 和龙| 龙胜| 头屯河| 堆龙德庆| 沙坪坝| 白河| 阳朔| 株洲市| 藁城| 凤山| 本溪满族自治县| 四川| 邛崃| 灌云| 襄樊| 祁门| 江夏| 曾母暗沙| 宣恩| 建宁| 芷江| 剑阁| 天池| 大方| 惠安| 衢江| 唐海| 贵德| 固原| 井陉| 韩城| 双城| 五大连池| 张家港| 高邑| 潮阳| 武穴| 西昌| 华坪| 五营| 科尔沁右翼中旗| 安龙| 陆良| 泽库| 宁强| 银川| 平陆| 丰南| 眉山| 台中县| 雷山| 畹町| 荣成| 桑日| 任县| 太仓| 彭泽| 开原| 从江| 班戈| 文县| 洛川| 高安| 石景山| 牟平| 子长| 丽江| 广德| 六合| 维西| 资兴| 武平| 格尔木| 珊瑚岛| 安图| 长丰| 大邑| 那曲| 柳河| 宁南| 新安| 番禺| 科尔沁右翼中旗| 巴青| 樟树| 宁都| 栾城| 大通| 新丰| 黄山区| 资兴| 西盟| 泗阳| 乌什| 奉新| 阳春| 大同市| 彭山| 望谟| 焉耆| 诸城| 安义| 吉水| 景谷| 类乌齐| 托克逊| 城口| 建昌| 环县| 茶陵| 新城子| 临高| 伽师| 普陀| 科尔沁右翼中旗| 通海| 会昌| 万全| 长白山| 清涧| 黟县| 东乡| 开化| 潞西| 青浦| 泰和| 同安| 小河| 白朗| 阳高| 仙游| 融安| 江都| 东宁| 桃源| 杭锦旗| 长宁| 容城| 九江市| 榆林| 吉安县| 白银| 湄潭| 石河子| 德安| 垦利| 萨嘎| 西昌| 宜兴| 枞阳| 吴桥| 新邵| 忻城| 裕民| 新宾| 腾冲| 农安| 龙门| 久治| 新蔡| 陆丰| 常州| 苏州| 汉寿| 瓮安| 灌云| 睢县| 东阿| 绿春| 维西| 沈丘| 芒康| 威宁| 杨凌| 宝坻| 广平| 连平| 溧阳| 上饶市| 偏关| 潘集| 衡山| 阿拉尔| 监利| 中阳| 茶陵| 曲阳| 惠来| 翁牛特旗| 启东| 城步| 麻阳| 万山| 武定| 新河| 王益|

彩票中本田汽车:

2018-09-23 03:07 来源:中国贸易新闻

  彩票中本田汽车:

  据了解,南京公积金管理中心还列出了三类情况下,买房人所购的楼盘确实不具备签订协议的条件,分别是:楼盘因所在土地已设抵押;土地用途为商用;销售房产为独幢、类独幢、联排住宅。如果婆媳关系都处不好,就很难想象她在处理家事中的能力了?应该说绝大多数的男儿郎还是有恋家情结的,所以说聪明的女子都应该把处好婆媳关系放在首位。

打造九头身,时髦星人最擅长的招数就是视觉差。除融资以外,日常结算、收付款管理、短期投资理财等综合金融服务,都是企业良好经营的重要助推器。

  随着城市的发展,各项基建设施越来越完善,轻轨、高架都让交通更加便利,从而拉动周边房价的上升,纵观济南新房市场,现在还有1万左右的房子吗?今天凤凰网房产济南站小编就为大家整理下济南目前尚存的1万左右的在售楼盘,供大家参考。他觉得,对方应该感激自己才对。

  久久清除不尽的历史,成为了区域发展的一种包袱。座谈会上,陈一新说,机遇已在,宏图已绘,思路已定,只要我们抓住机遇,持续发力,矢志奋斗,乘势而上,大武汉复兴指日可待。

他会为你表现太懦弱、甘愿忍受苛待而生气我的女友真是笨到家了,居然就让她前夫那样对待她!有个男人在谈到这一话题时如是说。

  在今年的政府工作报告中,总理表示:深化财税体制改革……健全地方税体系,稳妥推进房地产税立法。

  最后附上大表姐年度旅行长片结尾,希望看到这篇推文的你,下一次旅行拍照时,能变得更加好看哦!(文章来自大风号:马蜂窝自由行)房地产税对于大多数国家来讲,都是为了增加财政收入,这一点不论是日本还是英国,都可以证明。

  隐藏式的tata木门,宜家的桌椅配套。

  此外,区河长办治水办联合区政府督查室强化督查督办,对各项工作任务,采取“红黄绿”颜色管理(绿色表示正常推进、黄色表示到期提前预警、红色表示进度滞后),对推进情况“盯、关、跟”,并定期通报进展情况。事实上,城镇化在发展过程中不会一成不变,而会表现出不同的发展阶段。

  果不其然,各种街拍,活动路透照里,都能看到靳东佩戴这只青铜大飞,绝对算是他私底下佩戴最多的腕表之一了。

  武汉是第二故乡更是心中最深烙印自信人生两百年,会当水击三千里。

  05库拉冈日徒步时间:7天全程:55公里最佳徒步时节:5月~10月它深居西藏山南,位于中国与不丹边境,知道的人不多,走过的更是寥寥,但每个与它相遇的人,都毫不犹豫地把它列入顶级的徒步线路。归功于中国铁建·西派城的地块条件,以及排布方式——三大公园环绕,地块方正呈“宽屏”形状,园区规划又采用了接近“单线制”的排布手法,中国铁建·西派城楼栋之间很少遮挡,“星空墅”板式结构,三面采光的优势便发挥的更明显。

  

  彩票中本田汽车:

 
责编:
首页 > 大数据 > 正文

如何使用HBase?大数据存储的两个实战场景

2018-09-23 15:12:10  来源:魔据教育

摘要:HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。
关键词: HBase 大数据
  HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。

  为何使用HBase

  HBase的优点:

  - 列可以动态增加,并且列为空就不存储数据,节省存储空间。

  - Hbase自动切分数据,使得数据存储自动具有水平scalability。

  - Hbase可以提供高并发读写操作的支持。

\
  HBase的缺点:

  - 不能支持条件查询,只支持按照Row key来查询。

  - HBase并不适合传统的事物处理程序或关联分析,不支持复杂查询,一定程度上限制了它的使用,但是用它做数据存储的优势也同样非常明显。

  因为HBase存储的是松散的数据,所以如果你的应用程序中,数据表每一行的结构是有差别的,那么可以考虑使用HBase。因为HBase的列可以动态增加,并且列为空就不存储数据,所以如果你需要经常追加字段,且大部分字段是NULL值的,那可以考虑HBase。因为HBase可以根据Rowkey提供高效的查询,所以如果你的数据(包括元数据、消息、二进制数据等)都有着同一个主键,或者你需要通过键来访问和修改数据,使用HBase是一个很好地选择。

  如何使用HBase

  场景一:卖家操作日志

  卖家操作日志,顾名思义是用来记录商家操作的系统,从而可以保证商家可以精确查询自己的各种操作。京东有几十万的商家时时刻刻的进行着各种操作,因此卖家操作日志的特点是:数据量大、实时性强、增多查少。

\
图1

\
图2

  我们在做卖家操作日志初期,将所有的操作日志存放在ES中,操作日志的数据量是非常大的,但尴尬的是我们当时所能申请到的ES资源有限。当把大量的数据存储到有限的ES集群中时便导致了性能的下降。在这种情况下,我们选择了只在ES集群中存储最近三个月的数据,对其提供灵活的查询,而长期的数据存储使用HBase来进行。这样的话我们便可以实现对近期操作灵活展现,对长期数据也有精确备份。

  场景二:京麦消息日志的存储

  京麦消息日志的存储是属于京麦筋斗云系统(用于打造京麦消息生态系统闭环)不可或缺的一部分。其中包含消息的全链路追踪以及消息的统计分析。京麦消息每天都会有几千万的消息量,如何对消息进行追踪和统计便成为了一个至关重要的问题。消息追踪要求实时性、多维度精确查询,因此我们选择将最近一周的消息日志存储在ES。统计分析要求我们有足够多的数据,因此我们在将数据存储在ES中的同时也存储在HBase中一份。最终再定期将HBase中的数据导入到京东的数据集市中,这样我们便可以很方便的对京麦消息进行统计分析。

  HBase的数据结构

\
  要使用HBase我们首先要了解HBase的数据结构:

  HBase会存储系列的行记录,行记录有三个基本类型的定义:Row Key、Time Stamp、Column Family。

  Row Key

  与NoSQL数据库一样,Row Key是用来检索记录的主键。访问HBase table中的行,只有三种方式:

  通过单个Row Key访问。

  通过Row Key的range全表扫描。

  Row Key可以是任意字符串(最大长度是64KB,实际应用中长度一般为 10 ~ 100bytes),在HBase内部,Row Key保存为字节数组。

  在存储时,数据按照Row Key的字典序(byte order)排序存储。设计Key时,要充分排序存储这个特性,将经常一起读取的行存储到一起(位置相关性)。

  Column Family

  HBase表中每个列都必须属于某个列族,列族必须作为表模式定义的一部分预先给出(有点像关系型数据库中的列名,定义完一般情况下就不会再去修改);

  列名以列族作为前缀,每个列族都可以有多个列成员。新的列族成员(也就是列)可以随后按需,动态加入。

  Hbase把同一列族里面的数据存储在同一目录下,由几个文件保存。

  Time Stamp

  在HBase每个cell存储单元对同一份数据有多个版本,根据唯一的时间戳来区分每个版本之间的差异,不同版本的数据按照时间倒序排序,最新的数据版本排在最前面。

  简述HBase的架构原理

  1. HBase的模块


\
  Master

  HBase Master用于协调多个Region Server,侦测各个Region Server之间的状态,并平衡Region Server之间的负载。HBase Master还有一个职责就是负责分配Region给Region Server。HBase允许多个Master 节点共存,但是这需要Zookeeper的帮助。不过当多个Master节点共存时,只有一个Master是提供服务的,其他的Master节点处于待命的状态。当正在工作的Master节点宕机时,其他的Master则会接管 HBase 的集群。

  Region Server

  对于一个Region Server而言,其包括了多个Region。Region Server的作用只是管理表格,以及实现读写操作。Client 直接连接Region Server,并通信获取HBase中的数据。对于Region而言,则是真实存放HBase数据的地方,也就说Region是HBase可用性和分布式的基本单位。如果当一个表格很大,并由多个CF组成时,那么表的数据将存放在多个Region之间,并且在每个Region中会关联多个存储的单元(Store)。

  Zookeeper

  对于HBase而言,Zookeeper的作用是至关重要的。首先Zookeeper是作为HBase Master的HA解决方案。也就是说,是Zookeeper保证了至少有一个HBase Master处于运行状态。并且Zookeeper负责Region和Region Server的注册。其实Zookeeper发展到目前为止,已经成为了分布式大数据框架中容错性的标准框架。不光是HBase,几乎所有的分布式大数据相关的开源框架,都依赖于Zookeeper实现HA。

  2. HBase的原理

\
  首先我们需要知道HBase的集群是通过Zookeeper来进行机器之前的协调,也就是说HBase Master与Region Server之间的关系是依赖Zookeeper来维护。当一个Client需要访问HBase集群时,Client需要先和Zookeeper来通信,然后才会找到对应的Region Server。每一个 Region Server管理着很多个Region。对于HBase来说,Region是HBase并行化的基本单元。因此,数据也都存储在Region中。

  这里我们需要特别注意,每一个Region都只存储一个Column Family的数据,并且是该CF中的一段(按Row 的区间分成多个Region)。Region所能存储的数据大小是有上限的,当达到该上限时(Threshold),Region会进行分裂,数据也会分裂到多个Region中,这样便可以提高数据的并行化,以及提高数据的容量。

  每个Region包含着多个Store对象。每个Store包含一个MemStore,和一个或多个HFile。MemStore便是数据在内存中的实体,并且一般都是有序的。当数据向Region写入的时候,会先写入MemStore。当MemStore中的数据需要向底层文件系统倾倒(Dump)时(例如MemStore中的数据体积到达MemStore配置的最大值),Store便会创建StoreFile,而StoreFile就是对HFile一层封装。所以MemStore中的数据会最终写入到HFile中,也就是磁盘IO。由于HBase底层依靠HDFS,因此HFile都存储在HDFS之中。这便是整个HBase工作的原理简述。

  使用HBase时应注意的问题

  基于Hbase的系统设计与开发中,需要考虑的因素不同于关系型数据库,Hbase模式本身很简单,但赋予你更多调整的空间,有一些模式写性能很好,但读取数据时表现不好,或者正好相反,类似传统数据库基于范式的OR建模,在实际项目中考虑Hbase设计模式是,我们需要从以下几方面内容着手:

  这个表应该有多少个列簇

  列簇使用什么数据

  每个列簇应有多少个列

  列名应该是什么,尽管列名不必在建表时定义,但是读写数据时是需要的

  单元应该存放什么数据

  每个单元存储什么时间版本

  行健结构是什么,应该包括什么信息

  总结

  现如今各种数据存储方案层出不穷,本文仅仅是结合两个实战场景就基于HBase的大数据存储做了简单的分析,并对HBase的原理做了简单的阐述。如何使用好HBase,甚至于如何选择一个最优的数据存储方案,还需要我们根据场景需要具体分析和设计
第二十七届CIO班招生
北达软第一期EXIN隐私与数据保护基础认证培训
法国布雷斯特商学院MBA班招生
法国布雷斯特商学院硕士班招生
责编:zhangxuefeng
陈家埭 仲达乡 南俊巷口 张军友 黄南苑社区
天源山庄 巴彦芒哈苏木 康苏镇 天通苑西三区 巴彦图嘎嘎查
竞技宝