Cloudera一个满足未来数据生态系统架构的混合数据平台

内容导航：

Cloudera一个满足未来数据生态系统架构的混合数据平台

玉溪电脑培训学校告诉你大数据的结构层级？

Cloudera和Hadoop是什么关系？

Cloudera究竟对Hadoop做了些啥

一、Cloudera一个满足未来数据生态系统架构的混合数据平台

未来数据生态系统架构是什么模样？

Gartner认为，未来的数据生态系统应该利用分布式数据管理组件，可以在多个云和/或本地运行，但应被视为具有高度自动化的紧密的整体，像集成、元数据和治理功能将各个组件粘合在一起。

企业中不同的角色会关心不同的数据架构和方法论，数据网格（Data Mesh）、数据编织（Data Fabric）、湖仓一体（Data Lakehouse）是所有角色都会关注的三个数据框架和方法论。Cloudera则提供了适用于数据编织、数据湖库、数据网格和未来数据生态系统架构要求的混合数据平台。

构建未来数据生态系统架构

数据网格（Data Mesh）是数据与产品思维的融合。其是一种范式转变，数据由业务中的不同域拥有和管理，数据由最了解数据的域拥有，随时可供企业内的任何其他域使用。ThoughtWorks公司的工程师Zhamak Dehghani提出了数据网格的四个原则，分别是领域所有权原则、数据即产品原则、自助数据平台原则、联合计算治理原则。

数据编织（Data Fabric）各家评测机构都有自己的框架，Cloudera看来，数据编织的管控流程和之前所有数据管控方法一样，现在要做的不光要对人工的方式、手动数据管理进行服务，也要对未来的机器学习、自动的发现方式、对外进行服务，这个框架比以前要求更高。

湖仓一体（Data Lakehouse）集成并统一了数据仓库和数据湖的功能，在支持单一平台上的AI、BI、ML和数据工程。新技术能力支撑下，由上至下和由下至上的融合，适用于数据分析和机器学习工作负载。

Cloudera大中华区技术总监刘隶放表示，在企业内部针对不同的角色，要讲不同的数据架构和方法论，这之间并不矛盾。

Cloudera大中华区技术总监刘隶放

CEO、CIO、CDO关注如何在管理成本和维护人员规模的同时进行扩展，也就是数据你网格；CTO、CSO关注用什么技术方案保持一致性并构建标准模式，也就是数据编织；领域从业者关注在具体项目上的优化，也就是湖仓一体。

混合数据平台能做些什么

作为一家混合数据企业，Cloudera提供适用于数据网格、数据编织、数据湖仓和未来数据生态系统架构要求的混合数据平台，允许客户在多个公共和私有云以及本地访问和分析数据，使企业能够做出由数据驱动的明智决策，帮助企业建立由数据驱动的未来。

为什么说Cloudera是未来数据生态系统架构要求的混合数据平台，这主要源于三点，第一，开放数据编织、湖仓一体和数据网络，可以在任何地方提供大规模数据；第二，多云和本地数据管理和分析；第三，一次编写，随处运行的数据分析可移植性；第四，使用开放的云原生存储格式统一安全和治理，SDX能够真正帮助客户在新的形势下跨云，包括云原生、不同的存储中，做到数据统一的安全管控和治理。

“从产品构建角度，Cloudera数据平台可以支持现代数据架构。”刘隶放指出，Cloudera拥有三大核心优势，首先以更灵活且简单的方式帮助客户建立数据驱动型文化，其次以性能和成本效益驱动价值，最后与大量合作伙伴做开放性认证，支持开放的标准和互操作性，以速度和控制拉动企业增长。

从算力的角度来说，边缘计算非常重要，一些问题可以通过机器学习的处理模型在边缘进行处理，这对于数据安全性有要求的企业，可以实现数据要脱敏和过滤。

未来数据平台一定存在跨云模式，选择同一个平台，同一个计算引擎，到另外一个平台也可以使用，不需要改造，这是一个非常重要的考量的点。

一、玉溪电脑培训学校告诉你大数据的结构层级？

随着互联网的发展，越来越多的信息充斥在网络上，而大数据就是依靠对这些信息的收集、分类、归纳整理出我们所需要的信息，然后利用这些信息完成一些工作需要的一项能力技术。

今天，玉溪电脑培训主要就是来分析一下，大数据这项技术到底有那几个层次。

移动互联网时代，数据量呈现指数级增长，其中文本、音视频等非结构数据的占比已超过85%，未来将进一步增大。Hadoop架构的分布式文件系统、分布式数据库和分布式并行计算技术解决了海量多源异构数据在存储、管理和处理上的挑战。

从2006年4月第一个ApacheHadoop版本发布至今，Hadoop作为一项实现海量数据存储、管理和计算的开源技术，已迭代到了v2.7.2稳定版，其构成组件也由传统的三驾马车HDFS、MapReduce和HBase社区发展为由60多个相关组件组成的庞大生态，包括数据存储、执行引擎、编程和数据访问框架等。其生态系统从1.0版的三层架构演变为现在的四层架构：

底层——存储层

现在互联网数据量达到PB级，传统的存储方式已无法满足高效的IO性能和成本要求，Hadoop的分布式数据存储和管理技术解决了这一难题。HDFS现已成为大数据磁盘存储的事实标准，其上层正在涌现越来越多的文件格式封装(如Parquent)以适应BI类数据分析、机器学习类应用等更多的应用场景。未来HDFS会继续扩展对于新兴存储介质和服务器架构的支持。另一方面，区别于常用的Tachyon或Ignite，分布式内存文件系统新贵Arrow为列式内存存储的处理和交互提供了规范，得到了众多开发者和产业巨头的支持。

区别于传统的关系型数据库，HBase适合于非结构化数据存储。而Cloudera在2015年10月公布的分布式关系型数据库Kudu有望成为下一代分析平台的重要组成，它的出现将进一步把Hadoop市场向传统数据仓库市场靠拢。

中间层——管控层

管控层对Hadoop集群进行高效可靠的资源及数据管理。脱胎于MapReduce1.0的YARN已成为Hadoop2.0的通用资源管理平台。如何与容器技术深度融合，如何提高调度、细粒度管控和多租户支持的能力，是YARN需要进一步解决的问题。另一方面，Hortonworks的Ranger、Cloudera的Sentry和RecordService组件实现了对数据层面的安全管控。

二、Cloudera和Hadoop是什么关系？

由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。 Cloudera致力于成为数据管理的“重心”。

三、Cloudera究竟对Hadoop做了些啥

由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。 Cloudera致力于成为数据管理的“重心”。