你好,欢迎来南京云信达科技有限公司!

您当前位置: 首页 > 产品信息 > 产品介绍产品介绍

产品名称:eCloud-DSS 分布式存储软件
发布日期:2017-04-26 13:35:11 发布人:ecloud

eCloud DSS分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

关键技术:

元数据管理

在大数据环境下,元数据的体量也非常大,元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器,实现简单.但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上.进而解决了元数据服务器的性能瓶颈等问题.并提高了元数据管理架构的可扩展性,但实现较为复杂,并引入了元数据一致性的问题。另外,还有一种无元数据服务器的分布式架构,通过在线算法组织数据,不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难.实现较为复杂。文件目录遍历操作效率低下,并且缺乏文件系统全局监控管理功能。

系统弹性扩展技术

在大数据环境下,数据规模和复杂度的增加往往非常迅速,对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题,包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现,后者则侧重数据迁移算法的优化。此外,大数据存储体系规模庞大.结点失效率高,因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数,并动态地将数据在结点间迁移。以实现负载均衡;同时.结点失效时,数据必须可以通过副本等机制进行恢复,不能对上层应用产生影响。

存储层级内的优化技术

构建存储系统时.需要基于成本和性能来考虑,因此存储系统通常采用多层不同性价比的存储器件组成存储层次结构。大数据的规模大,因此构建高效合理的存储层次结构,可以在保证系统性能的前提下,降低系统能耗和构建成本,利用数据访问局部性原理.可以从两个方面对存储层次结构进行优化。从提高性能的角度,可以通过分析应用特征,识别热点数据并对其进行缓存或预取,通过高效的缓存预取算法和合理的缓存容量配比,以提高访问性能。从降低成本的角度,采用信息生命周期管理方法,将访问频率低的冷数据迁移到低速廉价存储设备上,可以在小幅牺牲系统整体性能的基础上,大幅降低系统的构建成本和能耗。

针对应用和负载的存储优化技术

传统数据存储模型需要支持尽可能多的应用,因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性,通用的数据存储模型通常并不是最能提高应用性能的模型.而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储,就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能,根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化,使应用达到最佳性能。

该系统有以下特点

 

全分布式冗余架构:无单点故障。

微服务架构:模块间松耦合,便于功能扩展,便于应用和存储集成。

无硬件依赖:通用x86服务器,兼容RedHatCentOSUbuntuOEL等多种Linux操作系统,降低TCO

标准块存储协议:无需特殊配置即可实现计算与存储的结合。

高性能:尽可能缩短IO路径,增加多种Cache,对数据库可实现 约30%的性能调优,保证系统的性能。

高可靠:可配置成多副本或纠删码方式确保数据安全,同时可配置强一致性策略确保各个副本数据的一致性。

底层支持: 支持多链路I/O负载均衡, 故障切换,源端心跳,支持 RAID-10561050等多种方式,支持IBFCIP等多种类型存储驱动,支持三层存储分层,支持数据热迁移。

数据处理:支持介质池化管理,支持数据的去重,压缩,快照,减配以及坏块的自动修复。

智能数据恢复:仅需要重建已存在并且不一致的数据,忽略卷中从未写入数据的位置,提高重建效率。

可扩展性:横向扩展,平滑扩容。集群扩容时,在条件允许的情况下,并不会移动数据,减少数据移动对集群负载带来影响。之后由智能调度算法,完成数据均匀化和负载均衡。

敏捷性:秒级创删卷,秒级跨主机迁移卷,适应容器应用场景。

软件授权灵活: 可以按照节点 或者 容量 或者2者皆有的限制方式 , 也可不限节点数,不限容量。

 

 

 

模块名称

模块说明

EC-OS

EC-OS操作系统是基于Oracle Enterprise Linux6.5-7.3UEK内核定制的专属操作系统,该系统基于不同业务场景预设了不同类型的内核参数模板。EC-OS对系统内部主要服务都进行了定制化的配置,避免默认安装情况下带来的安全隐患和兼容性等问题。EC-OS操作系统对存储介质、链路管理及数据库系统等场景实现15%-30%的性能优化,内部支持SRPRDMANVMeoFFCISER等多种高速通信协议,云信达针对该版本将持续提供最新RPM包升级服务,保证系统组件安全和更新换代。

EC-Share

EC-ShareEC-Cube管理软件的核心存储配置模块,其实现了基于数据库场景智能分配存储单元和存储介质池化管理。同时支持数据存储的自动分层(RAM/NVME/Flash/HDD)和数据热迁功能,此外还涵盖数据压缩、去重、减配、快照、坏块修复、块级协议等功能。EC-Share内部包含了InfinibandNVMEoFFC10E-IP等多类型存储映射驱动,支持计算存储融合架构管理和分布式存储管理套件;支持LACP、多链路I/O负载均衡、故障切换、多源心跳以及计算和存储节点的动态扩容。

EC-Monitor

EC-Monitor监控告警Portal平台,该告警平台采用微服务架构及分布式驱动部署,管理软件内部高内聚低耦合的设计思想,任意功能模块出现故障均不会对其他功能产生任何影响。

分布式探针:对EC-Cube内部每个物理节点使用分布式探针技术管理,客户端探针进行数据的采集并经过加密进行上报,同时实现滚动升级和一键化部署。

数据网关:独立的数据网关对分布式客户端探针上报的数据统一进行聚合归档并入库,所有通过EC-Cube管理平台编排的调度任务均由此实现下发和执行。针对不同通信渠道还额外提供了短信、邮件及微信网关。

仪表盘模块:公用的仪表盘插件监视关键系统性能指标、主机状态、数据库状态、集群状态、历史报警统计展示,通过该数据可视化手段使得EC-Cube一体机运行状态一目了然。

设备注册:通过该功能模块实现了主机集群管理、节点注册、数据库和ASM监控、参数配置、EC-Cube网络拓扑结构。

编排管理:通过编排管理,实现EC-Cube一体机内部的统一调度,触发调度的因素包含了时间和事件两种类型。

权限设置:EC-Cube管理平台所有用户进行权限划分和管理、角色管理、业务权限分配、针对每个用户可以设置不同的业务权限,保证人员管理灵活性。

告警平台:灵活设置告警规则、报警阈值、报警过滤;一体机管理软件从分布式客户端探针聚合性能数据,转交给报警处理引擎,报警处理引擎根据报警策略中设置的报警条件,在某一固定时间范内对数据进行检查、统一完成数据研判,当引擎检查时间范围内的数值满足条件时,触发报警事件的生成,并以多渠道(邮件、微信、短信)进行分发通知系统管理人员。

日志中心:可以灵活设置日志存留时间、以及日志文件的总大小,自动压缩文件日志,防止日志文件过大,减少对服务器资源的占用,并支持同步SyslogMcelogMessages等操作系统日志。

缓存驱动:对集群中的缓存数据可视化的展示,能够方便快捷的了解到系统缓存的使用情况,对系统吞吐压力、聚合化I/O、分层缓存层、读写分离介质及脏数据进行可视化显示。

磁盘心跳:模块内部使用了高端商用存储阵列同样的安全保护机制,通过对节点心跳、链路心跳、磁盘心跳进行三重监控保障,监控容量、链路、活性、映射等多重指标在性能和稳定性上媲美高端商用存储阵列。

API接口:EC-Cube系统提供统一调度的API接口,方便第三方平台进行对接,增强系统的服务能力。

EC-Mcenter

安全保护:在网络层、应用层、系统层、存储层构建全方位、多层次、一体化安全防护体系,实现对非法授权访问进行有效拦截

配置管理:EC-Cube管理平台的配置中心,报警规则设置、SMTP邮件配置、微信配置、SNMP北向配置、报警联系人管理、备份恢复、日志监控规则配置,可按照字符串匹配、数字匹配日志进行报警。

访问代理:通过访问中心提供访问代理服务,针对开源数据库如MysqlMongodbPostgres等实现前置分发和会话复制功能,同时实现了在JDK编译环境下对数据库系统计算节点访问的读写分离服务。

资源限制分配:通过IO负载管理、QOS管理达到对系统资源的调配,提高系统的利用率

管理备份:根据系统设置的规则,对管理系统进行定期备份,防止数据丢失。整套EC-Cube管理平台支持双机模式,多管理节点并行工作实现了更高级别的运行保护。

负载均衡:对于开源数据库、虚拟化或者应用服务器提供了负载均衡功能,通过优先级、权重、策略等不同方式,根据监管的服务器负载情况和设定的调度算法从资源池中选择计算节点进行数据分发提高系统的伸缩性和可用性。

ETL同步:支持OracleMysqlDB2等不同数据平台之前的数据备份同步,支持结构化和非结构化数据平台之间的双向同步备份,支持表级、用户级、库级等多种颗粒度。

存储单元:独立的一体机存储管理单元可对接EC-EBS做为备份节点,内置高速缓存实现了对底层数据访问的加速,并可实现核心生产数据的实时备份和有效性校验。

搜索引擎:提供全文检索应用,增加数据处理、数据仓库、数据分析决策应用的支持,用来构建更大规模的数据应用和分析挖掘系统。