IT消息
时下位置: 金沙平台网站 > IT消息 >   多少之师

华为云智能数据湖FusionInsight 成功助力10000+大数量集群滚动升级!

2020-05-17 15:08:24 的师网站 - 编纂:好麦 浏览数:13金沙平台网站

随着政企数字化发展,大数量在内阁、经济、运营商、大型集团公司等中承载越来越多之严重性数据分析、拍卖的事务,在一般升级和保护过程中,对于业务连续性保障的要求也越来越高。每次升级操作的交叉口准备时间要求尽量短,同时要求实现大集群滚动...

随着政企数字化发展,大数量在内阁、经济、运营商、大型集团公司等中承载越来越多之严重性数据分析、拍卖的事务,在一般升级和保护过程中,对于业务连续性保障的要求也越来越高。每次升级操作的交叉口准备时间要求尽量短,同时要求实现大集群滚动升级时业务不停机,如何处理这些痛点,成为了业界关注的基本点。

日前,华为流程IT的大数量集群(大数量集群是对大数量从数量获取、数量存储和数据分析的集群)采取华为云EI智能数据湖FusionInsight升级管理可视化服务工具,成功拍卖了升级过程中每天10万+任务要求业务不中断、大本子滚动升级、意外场景、开源版本等问题。此次成功升级的华为流程IT大数量集群规模达10000+视点,数量容量1000+PB,升级到新版本后,一边集群规模最大可以支持到20000视点,可满足华为流程IT作业迅猛发展之需求。

华为流程IT的大数量集群是基于华为云EI智能数据湖FusionInsight,面向数个机构,提供批流计算、多维分析、数量仓库、ETL、数量治理、可视化平台等基础能力,快速支撑各个产品和解决方案的数据分析过程。2019年,随着华为流程IT作业的迅猛发展,大数量集群规模也急速增长,1年时光,数量总量增长了3倍,数据表增长了1.2倍,CPU汇率持续高达70%。现网集群已经稳定运行超24个月。本年在工作迅猛增长之全景下,为了满足大数量计算、存储的需求,要求扩大规模和数量容量。

华为云EI智能数据湖FusionInsight基于华为云为业界提供公有云、混合云的大数量解决方案,采取高性能的BMS和ECS,自在满足企业数据处理业务需求。FusionInsight MRS大数量产品采用云化架构,架构灵活,高高的可满足3万大集群使用和保管,满足企业迅速的事务增长分析需要,数据分析价值最大,使数据“慧”开口,使企业更智能。

基于此,下一起看下华为流程IT的1万+超大数据集群的成功滚动升级过程中,华为云EI智能数据湖FusionInsight帮了什么样的打算。

在此次升级面临的挑战:

1.作业不中断:大数量集群每天为1000+我家提供服务,要求10万+任务在升级过程中不中断。

2.大本子滚动升级:副Hadoop2.X升级到3.X,开源社区仅提供了HDFS的跨版本升级能力,Yarn内外两个本子无法滚动升级;Hive副1.x到3.x本子,内外元数据格式不兼容、API有变化、语法不兼容等问题,导致无法支持滚动升级。

3.速度不中断:集群规模达万余节点,集群升级历时数角,升级过程中要求应对各族突发事件,例如硬件的光盘故障、网络拥塞等各种异常现象,渴求不间断升级。

4.开源版本需改进:在升级过程中,生存HDFS除去的公文并不会真正删除,仅做了标记,会导致升级期间有效容量快速占满;HDFS文件块结构发生变化,导致升级后块丢失;Hive的工夫戳字段,发生变化,导致升级后业务数据无法正常使用等问题。

分享到:

自主经营权与免责声明:

凡未注明"稿件来源"的情节均为转载稿,资产网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,资产网并不意味着赞同其观点或证实其内容的实事求是;


本文地址:http://www.agpmobile.com/news/2020/05/17/32427736.html

转载本站原创文章请注明来源:金沙平台网站

行业聚焦

世界噪音日单品推荐!华为FreeBuds 3半开放式主动降噪耳机

可能很少有人知道,副2003年开始,年年岁岁的4月16日被定为时尚噪音日,指导人们噪音的危害。根据世卫集团和欧共体合作研究中心在2011年之报告,噪音已变成继空气污染...[详细]

三年亏16京寒武纪冲刺科创板:无落地难,我家结构待优化

日前,上交所公告显示,工体寒武纪科技股份有限公司(简称"寒武纪")报名科创板上市。招股书显示,寒武纪本次拟公开发行不超过4010万股,募集资...[详细]

5G手机现在要不要买

2020年作为5G爆发元年,不管运营商、畜牧业设备制造商,还是手机终端厂商,都已经全面开展了5G网络布局,尤其是各大手机厂商之间,5G手机市场之间的竞争已经全面开...[详细]

自爆22京造假,金价下跌80%!还能喝到瑞幸咖啡吗?

自公司建立到IPO,瑞幸咖啡仅用了18.5个月,始建了国内互联网公司最快的上市记录。两个月前,瑞幸咖啡宣布进军无人零售,价值一度超百亿英镑。当今,一小时以内六次...[详细]

中华联通正式发表“三千洞”新品:千兆 5G 、千兆宽带及千兆 Wi

IT的师5月17日消息 5月17日,先后52个世界银行业和信息社会日当天,中华联通“联通三千洞 ”午餐会以点上形式在洞举办。会上,中华联通宣布进入“三千洞...[详细]

科技趋势

更多

网易发布第一季度财报:营收171亿元,比起增长18.3%

 

网易昨日发表了举足轻重季度未经审计财报,财报显示,网易第一季度营收171亿元,比起增长18.3%。归属于网易公司股东的继承经...[详细]

2019村镇人均工资出炉:IT行业以161352元位居第一

 

IT的师5月16日消息 根据国家测绘局5月15日宣布之数目,2019年全国城镇非私营单位就业人口年平均工资为90501元...[详细]

Redmi千元5G新机稳了 卢伟冰承认本月有悲喜

 

5月6日消息,小米集团中国区总裁、Redmi标价牌总经理卢伟冰表示,5一月Redmi会有悲喜。有网友留言,Redmi新机要...[详细]

当日立夏:风雨扬花,绿意遍天涯

 

IT的师5月5日消息 当天是5月5日,也是二十四节气当中的大雪——属于夏季的程序一个节气。大雪的来到,意味着我们...[详细]

预览版本显示Win10 20H2仍只是一次大幅度更新

 

先前报道称,金沙平台网站显然决定在2020年发布一次大更新和一次小更新。考虑到前两次大的Windows 10效益更新均出现不同程...[详细]

  • 1
  • 2
  • 3
  • 4
  • 5
  • 一周排名 本月关注
  • 01298 元起,育碧《刺客信条:英灵殿》 PC 版预购开启
  • 02联想小新Pro 13 2020集显版正式开售:i5
  • 03“OpenRAN们”只是会打破通信设施商市场布局?
  • 04比尔盖茨伉俪鼓励毕业生保持乐观:就像二战后重建,你们将率领潮流
  • 05戴森放弃电动车项目 创始人自曝5京欧元打水漂
  • 06Win10开拓U盘提示“鉴于i/o设施错误无法运行此项请求”怎么办?
  • 07京东PLUS DAY狂促:购物送PLUS国务委员,10点抢飞天茅台
  • 08SpaceX从周第一载人飞行:两名宇航员成功最后一次登船彩排
  • 09金沙平台网站Win 10创新再出幺蛾子:用户数据遗失,音频系统也不好用了
  • 10三星S20/Ultra新变,三星云不再同步手机键盘输入法数据

    
       
       
  • <samp id="2af5311a"></samp>