2022世界杯押注app(广州)集团有限公司

大数据  

H3C DataEngine平台产品

2019-11-13 17:09:23   浏览量:

在DT时代的今天,各行各业时时刻刻都在产生海量的结构多样的数据,企业数据规模不断增长,数据类型也变得复杂多样,传统数据库技术已无法满足企业海量多样化数据的有效存储、快速读取以及分析挖掘的需求,急需一套专业化的大数据解决方案来点石成金,H3C DataEngine大数据平台在此背景下应运而生。
H3C DataEngine大数据平台采用Hadoop+MPP的混合架构,提供一套完整的数据实时接入、数据存储、计算、分析、管理与开发于一体的产品方案。相比开源Hadoop平台,DataEngine大数据平台在安全性、易用性、稳定性与兼容性等多方面,进行内核级优化与外围加固;MPP采用高性能的行式列式存储和计算技术,支持主动数据压缩,高级分析,具有弹性扩展以及自定义外部扩展等先进特性,是支撑大数据实时分析的理想平台,为用户提供更贴心、更适合的大数据平台方案。H3C DataEngine大数据平台与H3C CloudOS深度融合,以云操作系统作为基础底座,形成独立的数据平台云服务,利用云提供灵活的基础设施资源管理,提供海量数据存储以及高性能的查询分析处理能力,助力企业用户快速构建海量数据处理系统,分析挖掘数据内在价值,并用于指导企业经营决策, 完成业务驱动到数据驱动的转型。

H3C DataEngine平台产品

易用的平台管理界面

H3C DataEngine提供可视化的集群安装部署界面,方便快捷的进行资源管理,主机分配等操作,支持组件服务一键安装、升级和图形化运维,实时监测各项服务的健康状态以及运行指标,超过一定配置阈值后进行告警并邮件通知管理员,大幅提升运维效率。

无共享大规模并行计算

MPP集群中的所有节点完全对等,不需要主节点,数据加载、数据导出和查询都可以并行地在所有节点同时执行。由于没有资源共享,增加节点就可以线性地扩展MPP的数据容量和计算能力,可以轻松从几个节点到上千节点、或从几个TB到数10PB规模扩展和收缩,满足业务规模增长的要求。

分级存储

在大数据时代,数据产生越来越快,而合规性和深度挖掘要求保留更多的数据,因此数据库中存放的数据越来越多。分析性能、高速磁盘高成本和大数据容量要求常常是矛盾。MPP的分级存储特性可以有效地化解这一矛盾。MPP可以为不同的Schema、表等对象、以及表分区指定不同的存储策略,指定不同的存储位置(可以采用不同性能、成本和容量的存储介质),从而优化存储成本。

自动优化设计

MPP内置包含专家知识的数据库优化设计器。用户只需要指定逻辑模式(Schema),装载样例数据,并提供典型查询SQL语句, MPP的数据库优化设计器就会根据专家知识自动设计数据的水平分布方式、每个列的排序方式和压缩算法,平衡查询性能和存储空间大小要求,实现数据库整体的优化。

强大的数据接入能力

通过面向服务的数据接入平台,将异构数据源集成过程封装为数据服务单元的形式对外提供服务,形成四通八达的数据传输服务,让数据不再成为孤岛。支持从DBMS、互联网、物联网、企业生产系统等各种数据源中提取数据,并将处理结果快速存入到H3C DataEngine平台中。使得用户不用再关注底层数据的传输过程,轻松易用,专注于上层平台应用的开发。

通用数据服务接口

提供统一SQL服务和可编程API,提取数据存储计算平台的数据处理结果,屏蔽底层细节,为上层应用提供数据服务。数据服务接口主要包括SQL接口、MapReduce/Spark/Storm/Flink等多种计算框架的可编程API、全文搜索接口、业务定向接口、关联查询接口,满足数据查询、可视化BI展示、数据分析、综合查询等业务应用的需要。提供接口文档、二次开发指导手册与二次开发示例程序,满足开发人员的使用需求。

安全的数据管控中心

H3C DataEngine基于安全协议Kerberos实现安全认证,使用LDAP作为账户管理系统;同时利用Range提供统一的用户和角色的管理体系,遵从RBAC(Role-Based Access Control)模型规范,通过角色绑定用户进行权限管理。此外DataEngine还支持用户对各组件的审计日志及检索能力,全组件管理界面均支持单点登录,使得平台真正做到安全可靠。

智能数据分析挖掘

支持R语言,集成机器学习算法库Spark MLlib,包含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。满足批处理统计分析、在线数据检索、R语言数据挖掘、实时流处理、全文搜索等全方位需求。可帮助企业建立高速可扩展的数据仓库和数据集市,结合多种报表工具提供交互式数据分析、即时报表和BI可视化展示能力。

多形态部署模式

数据平台支持独立模式和共享模式两种资源划分模式,满足不同场景下业务需求。共享模式下可以创建一个大集群,不同用户申请集群的共享存储和计算资源,并通过权限进行隔离,适合对资源管控严格且各二级部门数据交换频繁的企业使用。独立模式下不同用户可申请创建单独的集群,独享集群的所有资源,不同集群之前使用网络进行隔离,适用于资源比较充分且各二级部门之间业务相对独立的企业。
此外为满足企业稳定性要求,DataEngine还提供了常用服务的独立产品模式,包括NoSQL数据库HBase、内存数据库Redis、消息中间件Kafka、搜索服务Solr和Elasticsearch,避免不同组件之间资源抢占影响集群稳定性。

深度融合H3C CloudOS

H3C DataEngine大数据平台做为H3C CloudOS云服务提供,充分发挥云计算与大数据融合优势,利用云IaaS能力提供虚拟化资源池和裸金属资源池,用户可以根据具体业务场景灵活选择数据平台部署模式。虚拟机部署适合小数据量、性能要求不高的应用场景,提高服务器资源利用率;裸金属部署适合大数据量、高性能场景,提升用户业务能力。

Copyright © 2015-2022 2022世界杯押注app All rights reserved.  Email: lilei@baimes.com    
Baidu
sogou