云计算核心技术之云存储技术
一、云存储技术
1.1、云存储是什么
从狭义上来说，云存储是指通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将网络中大量的存储设备通过软件集合起来高效协同工作，共同对外提供低成本、高扩展性的数据存储服务。
从广义上来讲，云存储可以理解为按需提供的虚拟存储资源，如同云计算的Paas、 Iaas服务一样，可称为数据存储即服务（Data StorageAs a Service， DaaS），即基于指定的服务水平请求，通过网络提供适当的虚拟存储和相关数据服务。
云存储不是指某一个具体的设备，而是指有许多存储设备和微服务所构成的集体；使用者使用云存储时并不是使用某个存储设备，而是使用整个云存储系统带来的一种数据访问服务；云存储的核心是【应用软件与存储设备相结合】，通过应用软件来实现存储设备向存储服务的转变【云存储就是将存储设备、存储资源放到网络上供人存取的一种新兴的技术方案，使用者可以在任何时间、任何地方通过任何可以连接的网络装置，进行数据的任何存取操作】。
1.2、云存储的优缺点
云存储的优势在于可扩展性、场外管理、快速部署，以及较低的前期成本。此外，在一个总是需要更多储容量的世界中，云存储提供了无限的额外容量。
云存储的缺点主要集中在合规性、总体生命周期成本、对安全性的疑虑以及速度问题上。而如果数据如果需要长期、稳定存储的话， 则通常不会只存储在云中。
| 序号 | 云存储的优点 | 云存储的缺点 |
| 1 | 场外管理 实现不同实时物域维护的异地在线存储，可以让组织关注其他优先事项，特别是组织以合理的成本与可靠的供应商建立了良好关系的话，在某些情况下云计算服务提供商可以提供备份、数据保护、安全和其他的项目，以及管理工作等服务；我们可以将一些物理现场存储管理任务（包括：采集、配置、以及设置等操作）可以转移到云端完成 | 成本问题（终身成本） 一旦用户计算超过三到五年的成本，它的成本真的比数据中心的低吗？对一些人来说答案是否定的；随着时间的推移，公有云的成本可能会持续增加；如果用户的应用程序是在本地数据中心运行，而其数据是在云中，是会增加网络成本，并且会导致延迟的增加；所以把数据存储到云中可能会有一个终身成本，需要一直付费 |
| 2 | 网络连接性 云计算的最大优点之一就是允许用户在任何的时间、任意地点、任何设备上可以自由地共享和访问数据；云计算以企业存储解决方案，从未能够做到的方式实现了连接现代化企业，通过合适的云存储，企业可以在运营效率，灵活性、上线时间以竞争优势，以及降低成本等方面去获得收益 | 安全性 企业将数据传递给公有云服务商，会带来安全和隐私的问题，媒体对很多公有云泄露的事件都有过报道，安全公司进行了调查表明大约有3%受访者认为在办公室外共享文件等隐私数据是安全的。所以永远不要在公有云中存储敏感数据。 很多公司对公有云的安全性方面是有很多担忧的（如：内外部管理权限、服务提供商对访问用户的文件进行营销；加密(包括知识产权加密、无线传输和同步)、多个公有云提供商共享驱动器上的数据、以及数据是否会被意外删除，缺乏明确的审计跟踪）等都是一些不安全的因素；大企业把数据放到云上会考虑很多安全性的因素 |
| 3 | 备份速度快 当云计算得到一个非常适合的企业技术支持的时候，所达到的速度可与数据中心现场的处理速度相媲美；通过提供1G的传输管道，企业可以使用十几台服务器同时去备份数据，在夜间的备份窗口期，在云中传输备份75TB的数据，基本上可以很快的完成（与直接备份到磁盘的速度基本一致）；增量速度传输备份可以达到900多兆每秒，这比5400转的机械硬盘的传输速度还快，非常接近7200转甚至更高硬盘转速的存储速度 | 下载和传输速度慢 公有云存储的一个潜在缺点就是下载和传输的速度慢，尽管云存储在基准的测试中取得很好的结果；但是在一些调查中大约有22%的受访者表示公有云存储的主要障碍就是在上传和下载传花费的时间较多，毕竟要经过网络进行传输。 |
| 4 | 快速部署 公有云是绕过了添加存储的传统方法（评估存储的需求-->以及向供应商请求投标-->产品选择-->采购订单-->等待交付-->部署各种存储资产-->以及评估更多存储可能需要多长时间）等这些问题，可以实现快速部署 | 合规性 在一些受到严格监管的行业中，使用公有云存储不太可行，主要是考虑到公有云的安全性；医疗保健、金融服务和上市公司对使用这些云存储必须要十分慎重考虑；很多公有云解决方案的监管和威信可能会非常棘手，要特别注意（如果第三方和众多的司法管辖区域拥有存储数据，会成为一个非常大的问题） |
| 5 | 可扩展性 各种提供商在提供大容量存储方面做得很好，在公有云中几乎可以获得无限的容量和扩展性的性能。 | |
| 6 | 存储技术保持更新 公有云提供了一种避免购买高价磁盘的风险，用户只需要为其所需要的容量性能付费即可；并且供应商会实时升级他们的存储环境以跟上最新技术的步伐；由于公有云提供存储技术的更新和升级，所以用户的存储组件在后台会自动升级，并且几年后它的存储技术都不会过时 | |
| 7 | 降低前期投入成本 通过评估、购买、构建、配置和管理存储，这可能是一项非常昂贵的业务，在许多情况下，企业的大量存储容量可能都会处于空闲状态；通常具有高峰期的企业最终会购买足够的存储和性能来满足企业高峰的需求，但是95%的时间基本都不需要这些存储和IO设备的。公有云就不同了，公有云是允许用户为使用的内容付费，用附带报告来监控企业支出和存储的使用状态，以及输入和输出的活动，这样就极大降低了前期存储的成本 |
二、云存储架构和关键技术
2.1、云存储架构
传统的存储架构是存储、网络和主机都在同一个数据中心，客户通过局域网可以直接访问背后的存储。
而云存储是指通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将分散在不同地方的大量的存储设备通过软件集合起来，客户通过公用访问接口、接入网和客户端程序等获取存储资源，客户并不知道所访问的存储资源处在什么地方。
云储存系统架构主要有四层，分别是存储层、 基础管理层、 应用接口层和访问层,如下图所示：
2.2、云存储的关键技术
| 序号 | 云存储的关键技术 | 说明 |
| 1 | 存储虚拟化技术 | 通过存储虚拟化的方法将不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射成为一个统一的存储资源池；存储虚拟化技术能够对存储资源进行统一的分配和管理，又可以屏蔽存储实体间的物理位置以及异构的一些特性；实现了资源对用户的透明性，降低了构建、管理、维护资源的成本，从而提升云存储系统资源的利用率。 存储资源虚拟化技术虽然不同设备厂商之间略有差别，但是从总体上来说，可概括为：基于主机的虚拟化、基于存储设备的虚拟化、基于存储网络虚拟化三种技术。 |
| 2 | 分布式存储技术 | 是通过网络使用服务商提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散存储在各个存储设备上；目前比较流行的分布式存储技术有： 《1》【分布式块存储】典型代表是SAN、磁盘阵列式一个典型的块存储；对用户来说SAN是一个非常大的磁盘，用户可以根据自己的需要，将SAN这个大磁盘格式化为自己需要的文件系统来使用；在SAN这个网络当中其实是通过IP SAN协议来实现的连接，是块级别的存储，优点是很好的去组网、读写快、缺点是扩展性较差且不利于共享。 《2》【分布式文件系统存储】典型代表就是NAS设备（如：FTP、NFS等服务都会与NAS相关联），对用户来说NAS设备就好比是一个共享的文件夹，这个时候文件系统是已经存在的；用户可以将数据统一存放到NAS上，NAS是以文件为单位进行传输的，所以这个传输过程的开销会十分大；所以一般文件存储在文件共享会用到的比较多，不利于在高性能集群中去使用，因为效率很差【优点是分享方便快捷，缺点是读写慢】。 《3》【分布式对象存储】典型特点是无层次结构，在对象存储中所有的数据都是在同一个层次中，仅仅通过数据的唯一地址标识来识别并查找数据。典型代表是Ceph，对象存储存储是如何构建的？（常见方案就是通过多台服务器内置大容量的硬盘，然后在加上对象存储这个软件，并且在加上几台管理服务器，管理节点，在这些节点上去安装存储管理软件，这样的话管理节点就可以管理其他服务器，对外提供这种多线访问服务）；之所以出现对象存储是为了克服块存储和文件系统存储的缺点，发扬它们的优点【既读写快，又利于共享】。用户完全不用关心对象存储的数据安全性、包含数据的恢复和数据自动平衡等问题，这些问题都是由对象存储系统自身自动完成的。 等 |
| 3 | 数据缩减技术 | 为了应对数据急剧膨胀的问题，企业需要不断地大量购置存储设备，来满足日益不断增长的存储需求；企业虽然购买了大量的存储设备，但是这些设备的利用率往往不足50%，也就说存储投资的回报率水平是十分低的；通过云存储技术解决了存储中的高安全性、可靠性、可扩展性、易管理性等基本要求，同时也利用云存储的数据缩减技术可以满足海量信息，爆炸式增长的需求，在一定程度上为企业节省了存储成本，进而提高了效率【现在比较流行的数据缩减技术有：自动精简配置、自动存储分层、重复数据自动删除、数据压缩等】其中重复数据自动删除技术是可以简单理解为客户端在上传文件的时候，先在本地计算Hash指纹，然后把它上传到服务器去做一个比对，如果指纹一致则表示文件已经存在，那么此时就不需要上传，直接给出一个链接即可，通过这个方式不仅节省了存储空间，还节省了上传的时间，实现了秒传；使用这个技术的典型有百度网盘、阿里云盘。 |
| 4 | 数据备份技术 | 在数据为中心的时代，数据的重要性是无可质疑的，那么如何保证数据是一个永久的话题；即便是现在的云存储发展时代，数据的备份也是十分重要的； 数据备份技术是将数据本身或者其中的一部分在某一时间的状态以特定的格式保存下来；已备份的数据当出现错误，误删除，未加密等各种原因不可用时，可以将数据进行快速准确的恢复。数据备份是一个容灾的技术，它是为了防止突发事故而采取的一种数据保护措施，根本的目的是数据资源重新利用和保护；核心工作就是数据恢复。 备份就是将文件复制存储到其他的廉价存储服务器中（如：亚马逊的S3）当用户执行保存操作时，会复制这个文件并重名为一个时间戳，这样就可以非常容易地实现任意的恢复到备份的任意时间的任意一个版本，由于每次都要拷贝整个文件，因此称为全量备份。每次都复制显然是非常耗费存储空间的，这个时候我们自然就想到了只复制上一次备份之后改变的内容，这样就可以节省存储空间，这就是增量备份。 注意：备份一定要拷贝到其他存储系统上，如果仅仅只是拷贝到了当前的存储系统，那其实不叫备份，只能叫做副本；当我们系统集群瘫痪了，数据仍然是不能恢复的，副本主要是用于防止故障（如：一块磁盘坏了，数据不丢失还能读取恢复回来）；备份呢还是用于防止人祸，比如误删除操作等，它能回滚到前面备份的时间点上去。 |
| 5 | 内容分发网络技术 | 主要是针对现在互联网去进行改造，它基本的思想是：尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的一些弊端。 为了实现数据传输更快、更稳定，通过在网络各处放置节点服务器，在现有互联网的基础之上构成一层智能的虚拟网络；实时的根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息，将用户的请求重新导向离用户最近的服务节点上【CDN技术就是内容分发网络的具体实现】。 内容分发网络是一种新型的网络内容服务体系，它是基于IP网络构建的，基于内容访问与应用效率的要求、质量要求和内容秩序而提供内容的分发和服务，从广义的角度来讲CDN代表一种基于网络而构建的高质量、高效率、具有鲜明网络秩序的网络应用服务模式；简单来说：内容分发网络是一个经营性部署的整体系统包括【分布式存储】【负载均衡】【网络请求重定向】【内容管理】四个要求；而内容管理和全局网络流量是管理CDN的核心所在，那么通过用户就近负载均衡服务的判断CDN确保内容以一种极高效的方式为用户请求去提供服务；总体来说内容服务基于缓存的服务器也称作代理缓存，它位于网络的边缘，距用户只有一步之遥，那么同时代理缓存是内容提供商原服务器的一个透明镜像，这样的架构使得CDN的服务商能够代表它们的客户（内容供应商）向最终用户提供尽可能好的体验，而这些用户是不能忍受请求响应时间有延迟的。 |
| 6 | 存储加密技术 | 是指当数据从前端服务器输出或在写入存储设备之前通过系统为数据加密，以保证存储在存储设备上的数据只有授权的用户才能够去读取；目前，云存储中常用的存储加密技术有以下三种： 《1》全盘加密（全部存储的数据都是以密文的方式进行存放）； 《2》虚拟磁盘加密（存放数据之前建立加密的磁盘空间，并通过加密磁盘空间对数据进行加密）； 《3》卷加密（所有用户和系统文件、文件目录、文件都被加密） |
三、云存储的方式类型和安全性
3.1、云存储的方式
| 序号 | 云存储方式 | 说明 |
| 1 | 块存储 | 块存储会将单个存储卷（如云存储节点）拆分成叫作“块”的多个独立实例。它是一种快速、低延迟 的存储系统，适用于高性能工作负载【典型代表是：SAN、磁盘阵列】 |
| 2 | 文件存储 | 文件存储是 NAS 系统上使用的一种主要技术，负责组织数据并呈现给用户。它的分层结构使我们能够自上而下地轻松浏览数据，但这会拉长处理时间。 |
| 3 | 对象存储 | 对象存储会将数据与元数据的唯一标示符配对。由于对象未经压缩和加密，所以用户可以非常快速地 大批量访问对象， 因而它也适用于云原生应用。 |
3.2、云存储的类型
| 序号 | 云存储的类型 | 说明 |
| 1 | 公共云存储 | 数据存储在由虚拟资源构建、称为公共云的存储池中，这些资源池都由第三方公司自有和管理的硬件开发而成。 |
| 2 | 私有云存储 | 数据存储在由虚拟资源构建、称为私有云的存储池中，这些资源池都来自于企业专用（通常也归其所有和管理）的系统。相比于现成的软件，手动设置企业级私有云的做法从长远来看是较为低效的，所以企业都会使用如OpenStack这种平台，通过数字的方式将虚拟资源池转移到私有云上去，在OpenStack的所有项目中，大概有三分之一都需要负责存储和图像的检索，当软件定义存储解决方案Ceph搭配使用的时候，企业存储数据的方式和位置就会有更多的选择，而且不会影响搭建的私有云性能【因此私有云更多的是Ceph搭配OpenStack整合使用的】 |
| 3 | 混合云存储 | 数据存储位于 2 个或多个互联的云环境（公共云或私有云）组合而成的混合环境中。 虽然构成混合云的公有云和私有云环境各自都是独立的实体，但是我们可以通过LAN、WPN包括应用编程接口以及VPN或容器组成的网络来简化这些实体间的操作迁移，借助于独立互联的架构，企业就能够在私有云中存储关键的数据，减少公有云中的敏感数据，并根据需要在这两种环境之间去移动数据。 容器原生的存储无须部署独立的存储平台，因而它更有助于企业构建混合云存储；单个集成式容器平台还可以更加高效的扩展混合云，为企业提供统一的控制点；无论数据存储在哪一种云环境中，都可以进行轻松的管理。 |
3.3、云存储的安全性
| 序号 | 云存储的安全性 | 说明 |
| 1 | 没有绝对的安全， 安全总是相对的 | 基于良好的、稳定的、达到一定安全级别的软件技术、硬件技术、机房环境等因素，这种情况下，云存储相对于本地的存储会安全很多，依靠软件+硬件结合的云安全机制。 具体在云存储安全机制方面主要有几个方面的保护： 《1》模块保护：通过模块化冗余的设计，支持热插拔；电源模块、控制模块都是冗余的。 《2》硬盘级别的保护：每个节点都内置磁盘阵列，通过各个级别的磁盘阵列去保护硬盘。 《3》数据级别的保护：节点间数据的写是多份的，除了通常的Raid技术外，为解决双盘失效等其它故障导致的数据丢失，云存储将多个对象的副本分别写入到了其他的存储节点，当一个节点发生故障时，其他节点可以继续提供服务，可以通过其他节点的数据副本快速恢复故障，进而保护节点上的数据。 《4》系统级别的保护：网络链路端到端的冗余，所有存储模块都是分布式的，甚至分散在不同的物理节点上。 |
| 2 | 数据可用性 | 是指数据不会因为黑客攻击、物理设备故障等问题而导致数据不可用的因素； 如果我们担心数据会因为电脑病毒、计算机故障等问题而丢失，我们常会采集数据备份措施+预防的传统做法。 在云计算平台中保证数据可用的常用措施是：冗余备份策略：利用系统的并联模型来提供系统可靠性。 |
| 3 | 数据完整性 | 是指数据传输存储的过程中，确保数据不被未授权的用户篡改，或在篡改后能被系统迅速发现。 数字签名是保证数据完整性的常用方法，数字签名为数据在云端传输数据保驾护航，保证数据在发送过程中，未做任何修改或变动，同时，也可以确认数据传输的发送和接收方的身份，通过数字签名保证数据的完整性。 |
| 4 | 数据隐私性 | 是指在海量数据传输、存储、处理的每个环节，保护用户个人数据以及信息的一个重要因素； 云计算主要是通过共享密钥基于生物学特征，基于公开的密钥算法的身份验证机制来保证数据隐私。 此外数据层面的对象会去标识漏洞保护、虚拟机的扫描、数据的隔离、混合云技术等常被用来作为数据隐私安全的一个保障。 |
| 5 | 隐私保护级别划分 | 在云平台中，存储系统其实是存在不同的文件类型（如：有文档、图片、视频、音频、电子邮件等）为了保证用户的隐私，会在其中加入比较复杂的加密算法；但一个不可忽略的现实是这样会使得云平台大量的资源会被消耗掉，那么从而会使整个云平台的工作效率极大的降低，成本自然也会增加。 但是如果对数据都是采用较为简单的加密算法，数据在云平台存储或者处理的过程，就有可能造成数据的泄露； 每种数据对用户来讲数据的安全性和重要性都是有所差别的，因为这与数据涉及到的信息重要程度是不同的，如果要对云平台设置一个数据安全攻略：需要将用户的隐私级别与数据的隐私级别关联起来；对于上述数据我们可以根据数据的重要程度进行一个等级的划分，划分的依据可以是数据的重要程度和数据的敏感程度。 作为云服务的提供商可以根据数据对用户隐私程度的不同，来设置相应的隐私等级，一般可以将数据的隐私等级划分为三个等级： 《1》等级一：该等级中不包含用户较为敏感的数据，该等级的数据可以采用较为简单的加密算法，使得系统资源不至于被浪费太多； 《2》等级二：该等级中的部分数据对于用户来说是十分敏感的，就需要针对这些十分敏感的数据采用与它等级相符的加密算法； 《3》等级三：该等级中的存在用户大量的隐私数据，对这个等级中的数据采用更为复杂的加密算法，对数据的安全性有更高层次的保障。 |
| 6 | 打造云数据保护 的闭环网络 | 在整个云计算平台数据经历了数据地生成、数据的迁移、数据的使用、数据的共享、数据的存储以及数据的销毁这一个整个数据的闭环网络，那么在每个过程当中，我们对数据都要安全有效的保证： 《1》数据的生成：需要关注数据所有权的问题，企业对于客户的隐私数据，企业必须要了解哪些数据是被云平台所熟知的，并且作为客户需要采取一定的措施来避免云平台供应商来获取自身的敏感数据；或者尽量不要把这些敏感的数据存放到云平台上去。 《2》数据的迁移：要采用复杂的加密算法，用来保证数据的安全性隐私性，在数据迁移的过程中应该采用更高级复杂更加有效的加密算法，防止数据被其他用户获取；另外要保证在数据传输过程中对于数据的完整性需要采取一定的校验手段来保证数据的完整性，使得数据在迁移的过程中不会发生数据的丢失、数据的篡改等问题。 《3》数据的使用：需要有静态数据的保障。 《4》数据的共享：在数据的共享中，我们一定要慎重，因为在数据共享中若与第三方实现共享时，数据的所有者应该采取一定的措施去限制第三方没有约束的对数据进行传播。对客户共享的部分数据来讲，除了按照一定的方式对数据进行授权外，还需要对数据共享的方式进行研究，并考虑在数据共享的过程中，如何去防止用户的敏感数据被共享。 《5》数据的存储：分为【简单存储】【复杂存储】；将数据保存在云平台当中时，要考虑数据的完整性、安全性、可用性，解决这些问题的常用方法就是对数据进行加密，为了使得数据加密达到一个应有的效果，需要对算法的可靠性进行一个详细的验证，随着云计算平台传输、存储、处理的数据量越来越大，在对数据加密的过程中需要兼顾到数据的传输速度，以及数据传输的效率，在云计算平台中一般会采取：对称式的加密算法来对云平台的数据进行加密处理；而为了保证数据的完整性，要在数据传输的过程中对相关数据进行校验，对本地数据的使用和迁移我们都要引起重视。 《6》数据的销毁：也需要引起我们的注意，一般而言，计算机默认的删除方式并没有真正从计算机删除该内容，只是删除了该内容对应的索引；对磁盘进行格式化也是如此，对磁盘的格式化也仅仅是为操作系统创建了一个新的索引而已，将磁盘的扇区标记为未使用过，经过这两种方式删除的数据，一旦发生黑客入侵这样操作，我们采用一定的恢复手段还是可以将数据进行恢复的。 彻底销毁数据的方式：对磁盘进行低级格式化，或者对磁盘进行覆盖式数据写入。 对企业比较敏感或秘密级别的数据，云计算提供商可以考虑采用磁盘擦写的方法来完成对数据的删除；或者采用一定的数销毁算法，甚至是通过物理销毁来对用户的数据安全进行隐私保护。 |
