#oss简介 阿里云对象存储服务(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。您可以通过本文档提供的简单的REST接口,在任何时间、任何地点、任何互联网设备上进行上传和下载数据。基于OSS,您可以搭建出各种多媒体分享网站、网盘、个人和企业数据备份等基于大规模数据的服务。 ##储存类型 您可以***使用阿里云提供的API/SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS***。数据存储到阿里云OSS以后,您可以选择***标准类型***(Standard)的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的***低频访问类型(Infrequent Access)和归档类型(Archive)***的阿里云OSS服务作为不经常访问数据的备份和归档。
https://help.aliyun.com/document_detail/131103.html?spm=a2c4g.11174283.6.1693.3d9a7da2TyyJ5U
##上传方式 阿里云OSS提供多种上传方式,满足您不同场景的上传需求。对于小于5GB的文件,您可以通过控制台上传,并快速分享文件给访问者浏览或者下载。您也可以使用阿里云官方图形化管理工具ossbrowser上传并管理文件。对于大于5GB的文件,您可以通过SDK或API使用分片上传方式达到断点续传的效果。如果需要流媒体数据的实时写入,可以使用追加上传方式。 ##数据迁移 可以使用阿里云在线迁移服务在阿里云对象存储 OSS 之间***进行跨账号、跨地域、以及同地域内的数据迁移***。OSS 之间数据迁移包含以下场景:同地域数据迁移,即同地域 Bucket 之间数据迁移跨地域数据迁移,即不同地域 Bucket 之间数据迁移跨账号数据迁移,即不同阿里云账号之间 Bucket 数据迁移使用在线迁移服务,您只需在控制台填写源数据地址和目标 OSS 地址信息,并创建迁移任务即可。启动迁移后,您可以通过控制台管理迁移任务,查看迁移进度、流量等信息;也可以生成迁移报告,查看迁移文件列表、错误文件列表 ##WEB端上传数据到OSS 老方法通过应用服务器上传: 速度慢,费用高,扩张性差。
目前通过Web前端技术上传文件到OSS,有三种技术方案: 1.利用OSS Browser.js SDK将文件上传到OSS 该方案通过OSS Browser.js SDK直传数据到OSS,详细的SDK Demo请参见上传文件。在网络条件不好的状况下可以通过断点续传的方式上传大文件。该方案在个别浏览器上有兼容性问题,目前兼容IE10及以上版本浏览器,主流版本的Edge、Chrome、Firefox、Safari浏览器,以及大部分的Android、iOS、WindowsPhone手机上的浏览器。更多信息请参见安装Browser.js SDK。 2.使用表单上传方式,将文件上传到OSS 利用OSS提供的PostObject接口,使用表单上传方式将文件上传到OSS。该方案兼容大部分浏览器,但在网络状况不好的时候,如果单个文件上传失败,只能重试上传。操作方法请参见PostObject上传方案。 3.通过小程序上传文件到OSS 通过小程序,如微信小程序和支付宝小程序,利用OSS提供的PostObject接口来实现表单上传。操作方式请参见微信小程序直传实践和支付宝小程序直传实践。
##移动应用端直传 ##数据处理 1.基于OSS+MaxCompute构建数据仓库:本文介绍如何基于OSS并使用MaxCompute构建PB级数据仓库。通过MaxCompute对OSS上的海量数据进行分析,将您的大数据分析工作效率提升至分钟级,帮助您更高效、更低成本的挖掘海量数据价值。 2.使用OSS中的数据作为机器学习的训练样本。 3.通过HDP 2.6 Hadoop读取和写入OSS数据:HDP(Hortonworks Data Platform) 是由Hortonworks发行的大数据平台,包含了Hadoop、Hive、HBase等开源组件。 4.通过CDH5 Hadoop读取和写入OSS数据:CDH(Cloudera’s Distribution, including Apache Hadoop)是众多 Hadoop 发行版本中的一种。
##数据备份与容灾 1.通过定时备份功能进行***备份*** 混合云备份服务可创建备份计划,并按计划将您OSS内的数据备份到混合云备份服务中,当您的数据因误修改、误删除等原因丢失时,可及时恢复。您也可以使用混合云备份服务长期、低成本地保存OSS的历史数据。配置方法请参见定时备份。 2.通过跨区域复制功能进行备份 跨区域复制是跨不同OSS数据中心(地域)的存储空间(Bucket)自动、异步(近实时)复制文件,它会将文件的创建、更新和删除等操作从源存储空间复制到不同区域的目标存储空间。配置方法请参见设置跨区域复制。 3.通过在线迁移服务进行备份 阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务,您可以将第三方数据轻松迁移至OSS,也可以在OSS之间进行灵活的数据迁移。配置方法请参见阿里云OSS之间迁移教程。 4.通过ossimport工具进行备份 ossimport是一款将数据迁移至OSS的工具。您可以将ossimport部署在本地服务器或云上ECS实例内,轻松将您本地或其它云存储的数据迁移到OSS。配置方法请参见说明及配置。
5.数据库备份到OSS 通过数据库备份DBS将本地IDC、公网、第三方云数据库、阿里云RDS和阿里云ECS自建数据库实时备份到OSS上。 a.对象存储OSS 对象存储OSS提供了标准类型存储,作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也提供了成本更低、存储期限更长的低频访问类型存储和归档类型存储,作为不经常访问数据的备份和归档。对象存储OSS非常适合作为数据库备份的存储介质。 b.数据库备份DBS 数据库备份DBS是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护,包括企业数据中心、其他云厂商及公共云。数据库备份提供数据备份和操作恢复的整体方案,具备实时增量备份、精确到秒级的数据恢复能力。
##音视频 1.阿里云短视频SDK提供短视频录制、导入、编辑等功能,结合上传SDK、OSS、MTS、CDN及阿里云播放器,可实现短视频的采集、上传、存储、转码、分发、播放的完整功能。
2.存储在OSS上的多媒体音视频数据,可以通过经济、弹性、高扩展的阿里云媒体转码服务,转换成适合在移动端、PC、TV上播放的格式。媒体转码核心能力包括: 转换媒体格式,支持多平台播放。 保证相同画质质量的前提下,调整视频码率、提高视频压缩效率、减小文件体积,从而减少播放卡顿并节省存储空间和流量费用。 添加水印logo,突出品牌,增加产品识别度。 对视频进行剪辑/拼接等二次创作。 针对画质较差的视频,去除画面中的毛刺、马赛克等,修复为高清晰版本。
##基于Windows的ECS实例实现OSS反向代理: 阿里云OSS的存储空间(Bucket)访问地址会随机变换,您可以通过在ECS实例上配置OSS的反向代理,实现通过固定IP地址访问OSS的存储空间。
#Terraform简介 HashiCorp Terraform 是一个IT基础架构自动化编排工具,可以用代码来管理维护 IT 资源。Terraform 的命令行接口(CLI) 提供一种简单机制,用于将配置文件部署到阿里云或其他任意支持的云上,并对其进行版本控制。它编写了描述云资源拓扑的配置文件中的基础结构,例如虚拟机、存储帐户和网络接口。Terraform 是一个高度可扩展的工具,通过 Provider 来支持新的基础架构。您可以使用 Terraform 来创建、修改或删除 OSS、ECS、VPC、RDS、SLB 等多种资源。
OSS Terraform Module 功能 OSS 的 Terraform Module 目前主要提供 Bucket 管理、文件对象管理的功能。例如: Bucket 管理功能: 创建 Bucket 设置 Bucket ACL 设置 Bucket CORS 设置 Bucket Logging 设置 Bucket 静态网站托管 设置 Bucket Referer 设置 Bucket Lifecycle Object 管理功能: 文件上传 设置文件服务端加密方式 设置 ACL 设置对象元数据信息
#使用CDN加速OSS访问
用户直接访问OSS资源,访问速度会受到OSS的下行带宽以及Bucket地域的限制。如果通过CDN来访问OSS资源,带宽上限更高,并且可以将OSS的资源缓存至就近的CDN节点,通过CDN节点进行分发,访问速度更快,且费用更低。本文介绍如何使用CDN来加速OSS的访问。
#基于OSS构建HLS流
OSS支持以RTMP协议推流音视频至存储空间(Bucket),并转储为HLS协议格式,同时提供了丰富的鉴权、授权机制实现更细颗粒度的音视频数据访问控制。
#使用限制