现代数据平台要实现自助用数,要解决的三个问题-编程思维

摘要:华为云FusionInsight MRS HetuEngine持续提升自助用数分析平台的可服务、易运维能力,基于AI技术持续提升对数据分析平台的智能化赋能水平,引领现代数据分析平台向专业化、智能化、易运维、高性能方向演进。 本文分享自华为云社区《现代数据平台要实现自助用数还要解决的三大问题》,作者:高深广。 数据已经是社会运行、工作生产过程的关键要素。自2020年以来,全球多个国家将“数据

一文了解华为fusioninsight mrs hbase的集群隔离方案rsgroup-编程思维

摘要: RSGroup是集群隔离方案。 本文分享自华为云社区《华为FusionInsight MRS HBase的集群隔离——RSGroup》,作者: MissAverage。 一、HBase RSGroup理解 RSGroup是集群隔离方案。 HBase原有的资源隔离:为多个用户共享同一个HBase集群,提供了资源隔离的能力。 NameSpace,将不同业务的表隔离在不同的namespace

工业数据分析为什么要用fusioninsight mrs iotdb?-编程思维

摘要:MRS IoTDB,它是华为FusionInsight MRS大数据套件中的时序数据库产品,在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB?》,作者:高深广 。 随着工业互联网逐步兴起,在加速工业自动化、智能化的同时,也进一步加速工业生产时间序列数据的产生速度

5种kafka消费端性能优化方法_华为云开发者联盟-编程思维

摘要:带你了解基于FusionInsight HD&MRS的5种kafka消费端性能优化方法。 本文分享自华为云社区《FusionInsight HD&MRSkafka消费端性能优化方法》,作者: 穿夹克的坏猴子。 kafka消费端性能优化主要从下面几个方面优化: 1.接口使用方面优化: 旧版本highlevel-consumer:偏移量信息存储在zookeeper,最大消费线程

fusioninsight怎么帮「宇宙行」建一个好的「云数据平台」?_华为云开发者联盟-编程思维

摘要:基于数据湖架构,应用效率得以极大提升。经过几年发展,当前集群规模已经达到1000多节点,数据量几十PB,日均处理作业数大概是10万,赋能于180多个总行应用和境内外41家分行及子公司。 本文分享自华为云社区《FusionInsight怎么帮「宇宙行」建一个好的「云数据平台」?》,作者:徐礼锋 。 大数据技术的「演进趋势」 大数据从2010年开始到现在各种新技术层出不穷,最近围绕云基础设施又

详解mrs cdl整体架构设计_华为云开发者联盟-编程思维

摘要:MRS CDL是FusionInsight MRS推出的一种数据实时同步服务,旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去,本文档会详细为大家介绍CDL的整体架构以及关键技术。 本文分享自华为云社区《MRS CDL架构设计与实现》,作者:rujia01。 1 前言 MRS CDL是FusionInsight MRS推出的一种数据实时同步服务,旨在将传统OLTP数据库中

大数据集群跨多版本升级、业务0中断,只因背后有ta_华为云开发者联盟-编程思维

摘要:2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级。 本文分享自华为云社区《华为云FusionInsight助力太保跨多版本升级业务0中断》,作者: 沙漏 。 2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级,突破传统方案需离线停机多次升级模式,一次性将核心现网集群版本由FusionI

教你如何使用fusioninsight sqoopshell_华为云开发者联盟-编程思维

摘要:Sqoop-shell是一个Loader的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 本文分享自华为云社区《FusionInsight SqoopShell使用案例》,作者:Jia装大佬。 1 SqoopShell使用简介 sqoop-shell是一个Loader的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqo

深度解读mrs iotdb时序数据库的整体架构设计与实现_华为云开发者联盟-编程思维

【本期推荐】华为云社区6月刊来了,新鲜出炉的Top10技术干货、重磅技术专题分享;还有毕业季闯关大挑战,华为云专家带你做好职业规划。 摘要:本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性,重点为大家介绍MRS IoTDB时序数据库的整体架构设计与实现。 本文分享自华为云社区《MRS IoTDB时序数据库的总体架构设计与实现》,原文作者:cloudsong。 MRS IoTDB是

解密华为云fusioninsight mrs新特性:一架构三湖_华为云开发者联盟-编程思维

摘要:华为云FusionInsight MRS产品经理陈祥在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS,一个架构实现三种数据湖》的主题演讲,分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖,以及业务实践中的成功案例等。 本文分享自华为云社区《华为云FusionInsight MRS云原生

fusioninsight mrs:你的大数据“管家”_华为云开发者联盟-编程思维

摘要:4月24日-26日,HDC.Cloud2021在深圳大学城成功举办,华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建3种数据湖:离线数据湖、实时数据湖、逻辑数据湖,更有现场沙箱实验和名师大讲堂,一起来细品。 2021年4月26日,HDC.Cloud2021(华为开发者大会2021)成功落下帷幕。本

华为云fusioninsight mrs:千余节点滚动升级业务无中断_华为云开发者联盟-编程思维

摘要:滚动升级作为大集群数据底座的必备能力,能够完美解决了传统大数据平台操作繁琐、业务停机、升级成本高等问题,实现一个架构的持续演进,业务无中断。 华为开发者大会2021(Cloud)大会期间,由华为技术专家天团打造的《名师大讲堂》系列专题演讲,围绕云原生、大数据、人工智能等话题,探讨技术创新带来的价值,分享创新实践。其中,华为云FusionInsight解决方案架构师许田立,分享了“千级节点的

华为云fusioninsight mrs在金融行业存算分离的实践_华为云开发者联盟-编程思维

摘要:华为云FusionInsight MRS的大数据存算分离解决方案,实现资源价值最大化,存储与计算资源全面云化、灵活配置、弹性伸缩,降本增效。 在大数据、云计算、5G、AI等技术日新月异,数字经济加速发展的背景下,数据成为新的生产资料,数字化转型成为政企高速发展的关键。作为数字化转型的先行者,金融行业利用大数据平台进行客户体验提升、精准营销等业务。这些大数据平台在金融行业业务中发挥着至关重要

华为云fusioninsight助力宇宙行打造金融数据湖新标杆_华为云开发者联盟-编程思维

摘要:工行采用了华为云FusionInsight MRS大数据存算分离方案,实现了大数据平台与OBS对象存储服务的对接,将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下,实现了计算与存储独立按需扩容,轻松应对业务浪涌,提升资源整体利用率。 工商银行作为数字金融的领导者,践行“科技引领,创新赋能”的发展理念,持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作,引入了华为云F

14天1000+大集群滚动升级,银行柜台竟然毫无感觉_华为云开发者联盟-编程思维

摘要:中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。 2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。全程集群作业无中断、性能无影响,为全行上百个应用

“3+3”看华为云fusioninsight如何引领“数据新基建”持续发展_华为云开发者联盟-编程思维

摘要:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。 近期,美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务,分为以下三种场景。 一、数据基建架构全景 数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到数据湖或数仓中,通过数据科学或机器学习进行AI分析,通过AD Hoc和实时分析为客户或APP提供敏捷的结果数据。华为云FusionIns

银行大数据新玩法,构建“一湖两库”金融数据湖_华为云开发者联盟-编程思维

摘要:烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 大数据技术经过近几年的快速发展,在企业数据中心的基础设施上已不鲜见,尤其是金融行业,大数据技术应用一直走在其它行业前面,它们在以数据湖、融合数仓、湖内数仓(Data LakeHouse)等一些典型的技术场景中,逐步将大数据生态技术应用到金融企业的风险控制、运营管理、信贷查询、信用卡征信和财务分析等

3.7亿条保单数据怎么分析?这个大数据平台有绝招_华为云开发者联盟-编程思维

受到新冠疫情影响,全球经济面临冲击,国内经济已进入复工复产有序发展的新常态阶段,企业想要实现持续增长需另寻突破点,越来越多的企业把视线转向了企业内部,希望通过推进精细化管理来实现降本增效。 在企业精细化管理过程中,财务管理作为核心组成部分,是企业实现全面价值管理和风险管理的重要前提。因此,越来越多的企业开始引入新的管理形式和数字化系统,通过搭建业财一体化平台,将集团总部、各事业部、各业务条线的业

5种kafka消费端性能优化方法_华为云开发者联盟-编程思维

摘要:本文讲述基于FusionInsight HD&MRS的五种kafka消费端性能优化方法。 本文分享自华为云社区《FusionInsight HD&MRS:kafka消费端性能优化方法》,作者: 穿夹克的坏猴子 。 kafka消费端性能优化主要从下面几个方面优化: 1. 接口使用方面优化: 旧版本highlevel-consumer:偏移量信息存储在zookeeper,最大

HDFS 细粒度锁优化,FusionInsight MRS有妙招-编程思维

摘要:华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化,有效提升了NameNode的读写吞吐量,从而能够支持更多数据,更多业务请求访问,从而更好的支撑政企客户高效用数,业务洞见更准,价值兑现更快。 本文分享自华为云社区《FusionInsight MRS HDFS 细粒度锁优化实践》,作者:pippo。 背景 HDFS依赖NameNode作为其元数据服