什么是分布式存储?分布式存储与传统存储的区别是什么?
1、分布式存储
分布式存储系统(Distributed Storage System,DSS),也指分布式文件系统(Distributed File System,DFS)。分布式存储,从原理上讲,是将数据文件分散地存储到集群服务器上,而构建集群的服务器往往由低成本的商用硬件组成。用户利用系统提供的接口方便、快捷地访问存储系统,系统内部通过软件和硬件共同协作完成用户操作指令。
2、分布式存储技术
(1) *** 存储技术
① *** 连接存储(Network Attached Storage,NAS)
NAS主要组件包括NAS头和存储阵列,NAS头主要由四个部分组成,包括 *** 接口、 文件共享协议、 专用的操作系统以及底层的存储接口。存储可以位于NAS内部,也可以独立于NAS作为单独的存储阵列存在。客户端用户可以通过专有的文件共享协议,如Windows用户可以利用CIFS协议、Unix用户利用NFS协议,经过普适的IP *** 访问NAS设备上的存储资源。NAS头部在接收到用户的文件访问I/O后,通过其内部专用的操作系统将其转换为数据块I/O,并结合操作系统记录的文件位置,进行文件的存取工作。
优点:提高传统存储环境的扩展性,并且整合服务器和存储资源以进行统一管理,简化管理任务
缺点:无法满足高性能要求,不适合于对存储介质进行复杂操作的任务
②存储区域 *** (Storage Area Network,SAN)
根据数据在服务器和存储设备之间传输协议的不同,SAN主要分为光纤通道SAN和IP SAN两种类型,SAN主要由服务器、 存储设备以及 *** 连接三部分构成。服务器通过 *** 连接和常见的串行SCSI协议FCP(Fiber Channel Protocol),来远程访问存储设备上的数据资源。SAN将应用与存储分离,在降低了应用存储耦合的基础上,分离了两者的管理工作。在光纤通道SAN中,服务器与存储设备的连接渠道包括集线器,交换机和导向器,通过专门搭建的基于光纤通道的 *** ,能够实现数据的稳定、高速传输。而在IP SAN中,数据传输的渠道是通用的IP *** ,可以利用现有的 *** 连接迅速构建简易的IP SAN,方便灵活。
优缺点:基于光纤通道的SAN由于需要搭建专用的 *** ,成本高昂,维护难度较大,并且性能也与现有IP SAN相差无几,无法体现出自身的性能优势;而IP SAN受限于传统IP *** 的性能和稳定性,无法达到光纤通道SAN的高速、稳定的特性。
(2)分布式文件系统
①Google File System(GFS)
GFS是Google公司云计算基础设施中负责分布式数据管理的重要子系统,是一个面向大规模分布式环境的、 高可用、 高可靠、 高可扩展性的分布式文件系统,用于对大量数据的存储和管理。
②Hadoop File System(HDFS)
GFS源于Google公司自身的业务和应用服务要求,其具体的工程实现细节并未完全公布。研究人员根据GFS论文的核心设计思想,在Amazon、Yahoo 等IT 巨擘的牵头下,设计了一种新的面向分布式环境、高可靠性、高性能的分布式文件系统HDFS。该文件系统最初是作为Apache Nutch搜索引擎工程的底层基础架构而研发的,属于Apache Hadoop Core项目的重要组成部分,主要用于数据的分布式存储以及计算任务。
③Ceph
Ceph是一种新的、开源分布式文件系统,是Sage Weil在加州大学圣克鲁兹分校攻博期间负责的关于存储研究的项目,用于面向高性能、高可靠性、大规模的分布式环境。Ceph的生态系统包括四个组成部分,它们是客户端(Client)、元数据服务器(Metadata server cluster)、对象存储集群(Object storage cluster)和集群监视器(Cluster monitors),目前Ceph已经被用于实际生产环境中,许多大型IT及互联网公司,如华为、沃尔玛、Bloomberg、AT&T,eBay等均将Ceph用于其分布式文件系统以及存储系统的构建。
(3)P2P存储技术
在P2P存储中,所有节点地位均等,既可以是客户机,也可以是服务器。每个节点可以同时提供存储服务和访问其他节点的存储服务,打破了节点角色的壁垒,充分利用了节点自身的存储和计算资源。现有P2P存储技术主要包括OceanStore、PAST、CFS、Dynamo。
(4)新型存储技术
①基于对象的存储(Object-based Storage Devices,OSD)
OSD系统通常由三个组件构成,它们分别是OSD节点、 内部私有 *** 以及存储系统。OSD节点主要负责元数据服务和存储服务,不仅如此,它还负责维护对象ID与文件系统域名空间的映射关系。内部 *** 保证了节点与存储系统、多节点之间的互联互通。存储系统通常由廉价、高密度磁盘组成,用于存储对象。
②统一存储
一个统一存储系统主要包括底层存储系统、存储控制器、NAS机头、OSD节点以及相应的访问协议。存储控制器可以通过iSCSI、FC和FCoE协议,为应用服务器提供基于块级的数据存储和访问。NAS机头通过CIFS和NFS协议,可以为NAS 用户提供文件级的存储和访问服务。OSD节点通过REST和SOAP协议,以及对应的API为应用服务器提供对象级别的访问服务。应用服务器或者用户无需知晓底层实现细节,只需要根据数据访问的粒度,选择合适的协议就可以在统一存储的平台中进行数据的读写,方便快捷。现有的统一存储产品,如EMC VNX、Huawei OceanStor T系列,已经能够为企业级用户提供统一存储的服务。
3、分布式存储与传统存储的区别
(1)高性能,每个节点服务器都具有单独的处理数据请求的能力,集群中所有节点并行执行不同的处理请求,每当有新的节点加入集群,总资源池都会得到增长,系统性能得到提升
(2)高可靠性,能够有效避免SPoF问题的出现,当系统中某一节点服务器出现宕机或者其他故障时,系统服务不受影响
(3)低成本,能够很大程度地减少建立基础设施的成本,同时数据管理的成本也会有效减少
(4)高扩展性,可以通过更多的添加服务器节点实现系统的水平扩展,从而线性地提高系统总体容量与性能,并减轻对特定设备的依赖
您可能也感兴趣:
为您推荐
放得下接得住管得好 宁夏林草局全面实现全程网办
上海市林业总站开展湿地健康水生态调研并召开讨论会
相约在广东飞羽悦瞬间 2022广东候鸟护飞行动正式启动
排行
精彩推送
- 什么是分布式存储?分布式存储与传统存储的区别是什么?
- 医药中间体指的是什么?医药中间体分类怎么分类的?
- 智慧能源是什么?智慧能源的动力是科技?
- 什么是智慧医疗?智慧医疗的市场规模有多大?
- 斯诺威矿业股权拍卖7天四度熔断 神秘竞买人加价1.96亿元强势封顶
- 前10个月 服务进出口总额同比增长17.2%
- “专精特新”企业发展的国际经验
- 斯诺威矿业股权拍卖7天四度熔断 神秘竞买人加价1.96亿元强势封顶
- 快资讯:个体工商户在政采领域可有一番作为
- 当前关注:“专精特新”企业发展的国际经验
- 焦点消息!前10个月 服务进出口总额同比增长17.2%
- 世界热门:“守门员”变“前锋” 机构增强组合进攻性
- 环球通讯!个体工商户在政采领域可有一番作为
- 【播资讯】今年以来17位独董完成增持 “独立性”会否受到影响
- 快报:商业养老金不享个税优惠
- 每日讯息!北京等10省市 将试点商业养老金业务
- 消息!“守门员”变“前锋” 机构增强组合进攻性
- 商业养老金不享个税优惠
- 央行月末逆回购力度加大—— 向市场释放积极信号
- 【世界热闻】北京等10省市 将试点商业养老金业务
- 世界微速讯:央行月末逆回购力度加大—— 向市场释放积极信号
- 财政支出形成强支撑 12月流动性不存在明显缺口
- 财政支出形成强支撑 12月流动性不存在明显缺口
- 先进制造业百强市榜单出炉 多措并举推动先进制造业快速健康发展
- 赵立坚说中国为保障全球产供链稳定和促进世界经济发展作出重...
- 每日资讯:赵立坚说中国为保障全球产供链稳定和促进世界经济...
- 全球快看点丨先进制造业百强市榜单出炉 多措并举推动先进制...
- 观点:工信部公布45个国家先进制造业集群名单 立足区域比较...
- 天天快看:工信部公布45个国家先进制造业集群名单 立足区域...
- 每日播报!各地发展改革委齐发力 扩大有效投资稳住经济大盘
- 结直肠癌:我最怕你们吃这些食物!
- 天天百事通!前瞻IPO头条:2过2,汇隆活塞成功过会!力勤资源...
- 天天要闻:燃油车的“棺材板”,正在钉上最后一根钉子
- 天天通讯!工信部公布45个国家先进制造业集群名单京津冀生命...
- 各地发展改革委齐发力 扩大有效投资稳住经济大盘
- 世界新资讯:工信部公布45个国家先进制造业集群名单京津冀生...
- 时讯:商务部:前10月我国服务进出口总额49185.5亿元 同比增长17.2%
- 当前速读:女性孕期大脑发生的这一变化,或将影响母婴关系!
- 当前观察:你的孩子比你更“聪明”?原因竟然是……
- 鼎和保险公司成功中标越南永新燃煤电厂一期项目运营期保险项目
- “时空穿越”已成现实?关于“虫洞”,科学家们有了新发现!
- 天天微动态丨未来新十年,中国100大行业将驶向何方?
- 【天天热闻】一年挣19亿!两大家族共办高校达15年之久
- 商务部:前10月我国服务进出口总额49185.5亿元 同比增长17.2%
- 各地发展改革委齐发力扩大有效投资稳住经济大盘
- 财政部:前10月国有企业营业总收入同比增长8.9%
- 每日动态!稳增长需再发力
- 商务部研究院与合合信息启信宝发布商务信用发展指数报告
- 全球新动态:各地发展改革委齐发力扩大有效投资稳住经济大盘
- 环球看点!报告:三季度家庭财富和收入与上季度基本持平
- 稳增长需再发力
- 财政部:前10月国有企业营业总收入同比增长8.9%
- 世界热点!报告:三季度家庭财富和收入与上季度基本持平
- 财政部:1-10月国有企业营业总收入664199.6亿元 同比增长8.9%
- 聚焦:商务部研究院与合合信息启信宝发布商务信用发展指数报告
- 商务部:1-10月我国知识密集型服务贸易稳定增长
- 环球短讯!财政部:1-10月国有企业营业总收入664199.6亿元 ...
- 滚动:商务部:继续发挥与外资企业常态化交流机制作用 助力...
- 商务部:前10月我国服务进出口总额增长17.2%
- 全球热议:商务部:1-10月我国服务贸易继续保持增长
- 焦点简讯:商务部:前10个月我国服务进出口总额同比增长17.2%
- 商务部:前10个月中国服务进出口总额同比增17.2%
- 奶噗噗打卡宁波阪急,开启圣诞特别展
- 另一半出门不告诉你去哪里?教你一招 发一张照片就能定位
- 世界热门:经济景气度指标连续下行,稳增长要再加把劲儿
- 如何煮出来的银耳粘稠好喝?一起来看看吧
- 感染上的皮肤病有哪些类型?怎么预防皮肤病?
- 尿酸高的人能吃水果吗?能防治痛风吗?
- 全球腰最细的人是谁?缅甸女孩打破世界纪录
- 当前看点!经济景气度指标连续下行,稳增长要再加把劲儿
- 白血病病人在化疗时 应该如何饮食?
- 什么是丁克?为什么越来越多的人选择丁克?
- 6种手机投屏到电视上玩手游的方式 你都知道吗?
- 饮水机有哪些比较好的品牌?家用饮水机多少钱一台?
- 余额宝的钱为什么不能转出?为什么不能实时转出?
- 女人说你是知己是什么意思?
- 什么是热传导的傅立叶定律?傅立叶定律是基本定律?
- 彩色喷墨打印机的清洗方法是什么?注意事项有哪些?
- 服务实体经济 年内A股股权融资规模达1.45万亿元
- 天天微速讯:新虚假陈述司法解释 之损失认定规则解读
- 环球热讯:央行操作释放信号 呵护流动性态度不改
- 头条:央行操作释放信号 呵护流动性态度不改
- 【天天播资讯】中方呼吁1540委员会帮助发展中国家加强防扩散...
- 环球资讯:新虚假陈述司法解释 之损失认定规则解读
- 天天观速讯丨服务实体经济 年内A股股权融资规模达1.45万亿元
- 世界视讯!中方呼吁1540委员会帮助发展中国家加强防扩散能力建设
- 中国制造“一提高、一保护”迫在眉睫
- 多地部署新一轮制造业发展 强制造还需强“服务”
- 外交部发言人—— 中国始终是开放型世界经济的倡导者和推动者
- 【时快讯】多地部署新一轮制造业发展 强制造还需强“服务”
- 外交部发言人—— 中国始终是开放型世界经济的倡导者和推动者
- 中国制造“一提高、一保护”迫在眉睫
- 热推荐:前10个月国有企业营业总收入同比增长8.9%
- (经济)前10个月国有企业营业总收入同比增长8.9%
- 世界报道:(经济)前10个月国有企业营业总收入同比增长8.9%
- 世界观热点:工业和信息化部:国家创新示范基地要推动中小企...
- 世界快播:想知道是否患了帕金森病?科学家建议你去检测一下...
- 精彩看点:新研发的智能绷带,可加速伤口愈合,还不留疤!
- 焦点速看:活久见!大脑"发炎"者,患老年痴呆的风险会减少
- 环球热点!工业和信息化部:国家创新示范基地要推动中小企业...