云存储解决方案

来源：广东坤通科技有限公司日期：2020-01-13 点击：8639 属于：解决方案

方案概述

对象存储服务（Object Storage Service，OSS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。OSS系统和单个桶都没有总数据容量和对象/文件数量的限制，为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合普通用户、网站、企业和开发者使用。OSS是一项面向Internet访问的服务，提供了基于HTTP/HTTPS协议的Web服务接口，用户可以随时随地连接到Internet的电脑上，通过OSS管理控制台或各种OSS工具访问和管理存储在OSS中的数据。此外，OSS支持SDK和OSS API接口，可使用户方便管理自己存储在OSS上的数据，以及开发多种类型的上层业务应用。
通过多个区域部署了OSS基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定区域使用OSS，由此获得更快的访问速度和实惠的服务价格。

总体方案架构

对象存储服务OSS的基本组成是存储对象的容器和OSS中数据存储的基本单位。
OSS中存储对象的容器，每个存储容器实例都有自己的存储类别、访问权限、所属区域等属性，用户在互联网上通过存储对象容器的访问域名来定位存储基本单位。
对象是OSS中数据存储的基本单位，一个对象实际是一个文件的数据与其相关属性信息的集合体，包括Key、Metadata、Data三部分：
Key：键值，即对象的名称，为经过UTF-8编码的长度大于0且不超过1024的字符序列。一个桶里的每个对象必须拥有唯一的对象键值。
Metadata：元数据，即对象的描述信息，包括系统元数据和用户元数据，这些元数据以键值对（Key-Value）的形式被上传到OSS中。

系统元数据由OSS自动产生，在处理对象数据时使用，包括Date，Content-length，Last-modify，Content-MD5等。
用户元数据由用户在上传对象时指定，是用户自定义的对象描述信息。

Data：数据，即文件的数据内容。
坤通云存储针对OSS提供的REST API进行了二次开发，提供了控制台、SDK和各类工具，方便在不同的场景下轻松访问OSS以及容器对象。当然也可以利用OSS提供的SDK和OSS API，根据业务的实际情况自行开发，以满足不同场景的海量数据存储诉求。

图1. 云存储架构设计

存储类别及访问
1. 存储类别概述

OSS提供了三种存储类别：标准存储、低频访问存储、归档存储，从而满足客户业务对存储性能、成本的不同诉求。
1、标准存储访问时延低和吞吐量高，因而适用于有大量热点文件（平均一个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景，例如
大数据、移动应用、热点视频、社交图片等场景。

2、低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景，例如：文件同步/共享、企业备份等场景。与标准存储相比，低频访问存储有相同的数据持久性、吞吐量以及访问时延，且成本较低，但是可用性略低于标准存储。

3、归档存储适用于很少访问（平均一年访问一次）数据的业务场景，例如：数据归档、长期备份等场景。归档存储安全、持久且成本极低，可以用来替代磁带库。为了保持成本低廉，数据取回时间可能长达数分钟到数小时不等。

OSS分别提供容器级和对象级的存储类别。上传对象时，对象的存储类别默认继承容器的存储类别。当然客户也可以重新指定对象的存储类别。
修改存储类别，已有对象的存储类别不会修改，新上传对象时的默认对象存储类别随之修改。

对比项目	标准存储	低频访问存储	归档存储
特点	高性能、高可靠、高可用的对象存储服务	高可靠、较低成本的实时访问存储服务	归档数据的长期存储，存储单价更优惠
应用场景	云应用、数据分享、内容分享、热点对象	网盘应用、企业备份、活跃归档、监控数据	档案数据、医疗影像、视频素材、带库替代
设计持久性	99.999999999%	99.999999999%	99.999999999%
设计持久性（多AZ）	99.9999999999%	99.9999999999%	-
设计可用性	99.99%	99.99%	99.99%
设计可用性（多AZ）	99.995%	99.995%	-
最低存储时间	无	30天	90天
数据取回	免费	按实际取回数据量收费，单位GB	分加急和标准两种取回方式，按实际取回数据量收费，单位GB
图片处理	支持	支持	不支持

表1. 存储类别对比

1. 访问对象存储服务方式

对象存储服务提供了多种资源管理工具，可以选择以下表中的任意一种方式访问并管理对象存储服务上的资源。

工具	描述	使用方法
管理控制台	管理控制台是网页形式的。通过管理控制台，客户可以使用直观的界面进行相应的操作。	控制台指南
OSS Browser	OSS Browser是一款运行在Windows和MAC系统上的对象存储服务客户端，可以非常方便的让客户在个人电脑上进行对象存储的操作	OSS Browser工具指南
OSSFTP	OSSFTP工具利用pyftpdlib库的FTP server能力和对象存储云端存储能力，提供具有FTP接入的云上存储使用能力。在企业实际业务中，无需单独搭建FTP服务器和存储池，实现业务和运维的轻量化，极大降低了原有的FTP访问方式的技术成本	OSSFTP工具指南
OSSutil	OSSutil是一款用于访问管理OSS的命令行工具，客户可以使用该工具对OSS进行常用的配置管理操作。对于熟悉命令行程序的用户，OSSutil是执行批量处理、自动化任务的不错选择	OSSutil工具指南
OSSfs	OSSfs是OSS提供的一款基于FUSE的文件系统工具，主要用于将并行文件系统挂载至Linux系统，让用户能够在本地像操作文件系统一样直接使用OSS海量的存储空间	OSSfs工具指南
SDK	SDK是对OSS服务提供的REST API进行的封装，以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用OSS业务能力的目的	SDK参考
API	OSS提供REST形式的访问接口，使用户能够非常容易地从Web应用中访问OSS。用户可以通过本文档提供的简单的REST接口，在任何时间、任何地点、任何互联网设备上进行上传和下载数据	API参考

表2. OSS资源管理工具

存储功能特点

4.1 多种存储类型
支持数据冷热分层，提供更具性价比的存储方式。

数据冷热分层维度

提供标准型、低频型、归档型三种存储类型，满足不同场景的数据存储

数据冗余维度

提供同城区域冗余ZRS、本地冗余LRS类型；ZRS，将数据冗余存放在多个可用区，具备机房级容灾能力；LRS，将数据冗余存放在同一可用区的多个设备，抵御硬盘/存储服务器级故障
4.2 数据保护与安全
支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等，提供更可靠、更安全、更合规的对象存储

数据可靠

多重冗余分布式架构，有效应对各类硬件故障，消除单点隐患，提供最大12个9的数据持久性设计

完整性校验

存储和读取数据时，对网络流量计算CRC64校验和，检测数据包是否损坏，确保数据完整性

完善的权限控制

提供RAM、ACL、BucketPolicy、URL签名等多种访问控制机制，支持Bucket、Object、API级细粒度授权

网络访问安全防护

支持防盗链，支持通过BucketPolicy设置IP黑白名单或限制只能Https访问

数据加密

提供服务端加密、客户端加密的多种数据加密选项

日志审计

支持将OSS访问记录，按小时导出成日志文件，用于分析与审计；支持实时日志查询，结合日志服务，分钟级日志推送，秒级查询与可视化分析

数据合规

OSS支持WORM策略（一次写入，多次读取），保护周期内，任何人都不能对文件进行修改和删除，满足行业合规要求。同时，坤通云通过国内外多项认证，率先将众多的合规控制点，融入云平台内控管理和产品设计中
4.3 企业级数据管理
支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等，提供更简单易用、更便于管理的对象存储

生命周期

可定义数据的生命周期，将符合规则的对象转换存储类型或过期清除

镜像回源

支持配置用户源站，当访问数据不在OSS时，OSS会从源站拉取并写入OSS

文件上传

支持PutObject、PostObject、MultipartUpload、AppendObject方式。其中，Append上传的文件，支持在文件末尾追加内容

文件下载

支持简单下载、断点续传下载，其中断点续传下载，可设置从Object指定的位置开始下载

云监控

对接云监控，支持OSS基础服务指标、性能指标和计量指标的监控

事件通知

支持事件通知，OSS上Object相关操作可触发事件通知，用户可设置触发器，以执行各种操作

实时日志

支持导出访问日志到用户Bucket，也可结合日志服务，对OSS访问记录实时查询、可视化分析，满足企业运维审计、业务分析等需求
4.4 数据处理能力
支持图片、文档、视频、CSV等数据的常用处理和分析能力，提供更智能的对象存储

图片处理

支持jpg、png、bmp、gif、webp、tiff等格式的转换，以及缩略图、剪裁、水印、缩放等多种操作

视频截帧

支持截取出视频中的指定位置生成图片，完成视频截帧

文档预览

支持对ppt、xls、doc、pdf 等格式文档进行在线预览

标签识别

支持图片场景标签识别，如交通工具、电子产品、常用物品、饮食等，支持分层标签

人脸识别

支持图片中多张人脸的位置与属性检测，如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等

OSS Select

支持通过SQL选取CSV、JSON文件内容，而无需下载整个文件再分析，可为大数据应用提速

4.5 数据生态丰富
支持对接开源生态、坤通云丰富的计算产品、数据管理产品，帮助客户释放数据更大的业务价值

开源生态

中国首家被Hadoop官方社区支持的云存储，可对接丰富的开源生态。用户可通过Logstash、Flume将日志投递到OSS，可在Hadoop、Spark、Hive、Impala、Flink、Presto中访问OSS，通过计算存储分离架构，将温数据、冷数据存储在OSS

计算产品对接

OSS无缝对接坤通云日志服务、EMR、DataLakeAnalytics、函数计算、批量计算、MaxCompute，满足用户日志投递、离线处理、交互式查询、Severless触发计算、批量计算等场景需求。

数据管理生态

支持通过坤通云DBS，将各类数据库备份到OSS；通过数据集成，将数据导入到OSS；通过坤通云混合云存储阵列结合云上OSS，可实现本地和云端存储空间的无缝结合
4.6 大规模数据迁移
支持PB级的在线、离线迁移方案，完成中国互联网首个单客户百PB级数据的迁移上云案例，提供更安全、更快速海量数据迁移上云方案

离线数据迁移

闪电立方可将用户线下数据，安全、高效的迁移到OSS，提供端到端的加密机制，支持TB到PB级数据迁移上云

在线数据迁移

用户可使用坤通云在线数据迁移服务、OSSImport工具，将第三方云存储、自建线下存储等各类数据，在线迁移到OSS，支持TB至PB级数据迁移到OSS

HDFS数据迁移

通过Hadoop对OSS的支持，用户可以在自建的Hadoop集群或通过坤通云EMR，将HDFS中大规模的数据迁移到OSS

存储产品优势

5.1 数据稳定可靠
OSS支撑坤通手机云相册，数亿用户访问，稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案，保障数据持久性高达99.9999999999%，业务连续性高达99.995%，远高于传统架构。

图2 可靠性架构
5.2 多重防护管理
OSS通过可信云认证，让数据安全放心。支持多版本控制、服务端加密、防盗链、VPC网络隔离、IP黑白名单、访问日志审计以及细粒度的权限控制，保障数据安全可信。

图3多重防护管理
5.3 只能调度并发
OSS通过智能调度和响应，优化数据访问路径，并结合事件通知、传输加速、大数据垂直优化等，为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。

图4 千万并发的数据访问
5.4 简单易用易管理
OSS支持标准REST API、多版本SDK和数据迁移工具，让业务快速上云。无需事先规划存储容量，存储资源可线性无限扩展，不用担心存储资源扩容、缩容问题。同时提供全新的POSIX语言系统，应用接入更简便。

图5 简单易用管理
5.5 资源弹性扩容
持按量付费模式，按实际使用量付费，无需提前一次性投入。同时，自动弹性扩展，不限用户存储的容量和文件数目，满足EB级海量存储需求。

5.6 数据分层
提供标准、低频、归档多种类型，通过生命周期自动化实现数据类型转换与过期管理，覆盖从热到冷多种存储场景。

图6 数据分析
在信息时代，企业数据直线增长，自建存储服务器存在的诸多劣势已无法满足企业日益强烈的存储需求。以下列表详细展示了OSS与自建存储服务器的优劣势对比：

对比项	OSS	自建存储服务器
数据存储量	提供海量的存储服务，在全球部署着N个数据中心，所有业务、存储节点采用分布式集群方式部署，各节点、集群都可以独立扩容，用户永远不必担心存储容量不够	数据存储量受限于搭建存储服务器时使用的硬件设备，存储量不够时需要重新购买存储硬盘，进行人工扩容
安全性	支持HTTPS/SSL安全协议，支持数据加密上传。同时OSS通过访问密钥（AK/SK）对访问用户的身份进行鉴权，结合IAM策略、桶策略、ACL、防盗链等多种方式和技术确保数据传输与访问的安全	需自行承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险
可靠性	通过五级可靠性架构，保障数据持久性高达99.999999999%，业务连续性高达99.99%，远高于传统架构	一般的企业自建存储服务器不会投入巨额的成本来同时保证介质、服务器、机柜、数据中心、区域级别的可靠性，一旦出现故障或灾难，很容易导致数据出现不可逆的丢失，给企业造成严重损失
成本	即开即用，免去了自建存储服务器前期的资金、时间以及人力成本的投入，后期设备的维护交由OSS处理。按使用量付费，用多少算多少。阶梯价格，用的越多越实惠	前期安装难、设备成本高、初始投资大、自建周期长、后期运维成本高，无法匹配快速变更的企业业务，安全保障的费用还需额外考虑

表3 OSS与自建存储服务器对比

应用场景

6.1 静态网站托管
OSS提供低成本、高可用、可根据流量需求自动扩展的网站托管解决方案，结合内容分发网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。
终端用户浏览器和APP上的动态数据直接与搭建在坤通云上的业务系统进行交互，动态数据请求发往业务系统处理后直接返回给用户。静态数据保存在OSS中，业务系统通过内网对静态数据进行处理，终端用户通过就近的高速节点，直接向OSS请求和读取静态数据。

图7 静态网站托管
6.2 在线视频点播
OSS提供高并发、高可靠、低时延、低成本的海量存储系统，结合媒体处理MPC、内容审核Moderation和内容分发网络CDN可快速搭建极速、安全、高可用的视频在线点播平台。
OSS作为视频点播的源站，一般的互联网用户或专业的创作主体将各类视频文件上传至OSS后，通过Moderation对视频内容进行审核，并通过MPC对视频源文件进行转码，最终通过CDN回源加速之后便可以在各类终端上进行点播。

图8 在线视频点播
6.2 基因测序
OSS提供高并发、高可靠、低时延、低成本的海量存储系统，结合坤通云计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。
客户数据中心测序仪上的数据通过云专线自动快速上传到云上，通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算，分析计算产生的数据和计算结果存储到OSS中，其中上传到云的基因数据自动转为低成本的归档对象保存在OSS提供的归档存储中，计算得出的测序结果通过公网在线分发到医院和科研机构。

图9 基因测试
6.4 智能视频监控
OSS为视频监控解决方案提供高性能、高可靠、低时延、低成本的海量存储空间，同时提供标准存储、低频访问存储和归档存储分类存储数据，降低存储成本，满足个人/企业等各类视频监控场景需求，提供设备管理、视频监控以及视频处理等多种能力的端到端解决方案。
摄像头拍摄的监控视频通过公网或专线传输至坤通云，在弹性云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OSS，后续再从OSS下载历史视频对象传输到观看视频的终端设备。

图10 只能视频监控
6.5 备份归档
OSS提供高并发、高可靠、低时延、低成本的海量存储系统，满足各种企业应用、数据库和非结构化数据的备份归档需求。
企业数据中心的各类数据通过使用同步客户端、主流备份软件、云存储网关或数据快递服务DES，备份至坤通云对象存储服务OSS。OSS提供生命周期功能实现存储类别自动转换，以降低存储成本。在需要时，可将OSS中的数据恢复到云上的灾备主机或测试主机。