阿里云大数据计算服务MaxCompute

阿里云大数据计算服务MaxComputeweb

大数据计算服务(MaxCompute,原名ODPS)是一种快速、彻底托管的TB/PB级数据仓库解决方案。
当今社会数据收集手段不断丰富,行业数据大量积累,数据规模已增加到了传统软件行业没法承载的海量数据(百GB、TB乃至PB)级别。MaxCompute服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。
因为单台服务器的处理能力有限,海量数据的分析须要分布式计算模型。分布式的计算模型对数据分析人员要求较高且不易维护:数据分析人员不只须要了解业务需求,同时还须要熟悉底层分布式计算模型。MaxCompute为咱们提供完善的数据导入方案以及多种经典的分布式计算模型,帮助咱们快速解决海量数据的计算问题,有效下降企业成本并保障数据安全。之后能够没必要关心分布式计算和维护细节,即可轻松完成大数据分析。算法

产品优点
大规模计算存储
MaxCompute适用于100GB以上规模的存储及计算需求,最大可达EB级别。数据库

多种计算模型
MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。编程

强数据安全
MaxCompute已稳定支撑阿里所有离线分析业务7年以上,提供多层沙箱防御及监控。安全

低成本
与企业自建专有云相比,MaxCompute的计算存储更高效,能够下降20%-30%的采购成本服务器

功能概述
数据通道
1、批量、历史数据通道
TUNNEL是MaxCompute为咱们提供的数据传输服务,提供高并发的离线数据上传下载服务。支持天天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel 为咱们提供Java编程接口,而且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。
2、实时、增量数据通道
针对实时数据上传的场景,MaxCompute提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。DataHub还支持多种数据传输插件,例如Logstash、Flume、Fluentd、Sqoop等,同时支持日志服务Log Service中的投递日志到MaxCompute,进而使用DataWorks进行日志分析和挖掘。微信

计算及分析任务
MaxCompute支持多种计算模型,详情以下:
1、SQL:MaxCompute以表的形式存储数据,支持多种数据类型,并对外提供SQL查询功能。咱们能够将MaxCompute做为传统的数据库软件操做,但其却能处理TB、PB级别的海量数据。并发

须要注意的是:
1.MaxCompute SQL不支持事务、索引及Update/Delete等操做。
2.MaxCompute的SQL语法与Oracle、MySQL有必定差异,咱们没法将其余数据库中的SQL语句无缝迁移到MaxCompute上来。
3.在使用方式上,MaxCompute SQL最快能够在分钟、乃至秒级别完成查询,没法在毫秒级别返回结果。
4.MaxCompute SQL的优势是学习成本低,咱们不须要了解复杂的分布式计算概念。若是您具有数据库操做经验,即可快速熟悉MaxCompute SQL的使用。框架

2、UDF:即用户自定义函数。
MaxCompute提供了不少内建函数来知足你们的计算需求,同时咱们还能够经过建立自定义函数来知足不一样的计算需求。
3、MapReduce:MaxCompute MapReduce是MaxCompute提供的Java MapReduce编程模型,它能够简化开发流程,更为高效。若使用MaxCompute MapReduce,须要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce为咱们提供Java编程接口。
4、Graph:MaxCompute提供的Graph功能是一套面向迭代的图计算处理框架。图计算做业使用图进行建模,图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。经过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank、单源最短距离算法 、K-均值聚类算法等。分布式

SDK
SDK是MaxCompute提供给开发者的工具包,当前支持Java SDK及Python SDK。

安全
MaxCompute提供了功能强大的安全服务,为您的数据安全提供保护。

对大数据产品有需求的用户请加“云特快”微信号:qwe521378,领取阿里云大数据产品优惠券。