驱动AWS QuickSight应对大数据挑战的创新技术
发布日期:2016-3-17 22:3:36
眼下,我们生活在众多网站、联网设备和移动应用程序生成海量数据的时代。在这种数据密集型环境下,做出关键的业务决策势必需要从这些数据获得宝贵的洞察力,如开展营销和销售活动、物流规划、财务分析及广告定位等决策。然而,收集、存储和处理数据的数据基础设施主要面向广大的开发人员和IT专业人士(比如Amazon Redshift、Amazon DynamoDB和Amazon EMR),不仅技术专业人士需要获取洞察力,不懂技术的业务用户也需要获取洞察力。 为了能够为客户提供最出色的数据存储方案,这些年来我们构建了几种创新的数据库解决方案,比如Amazon RDS、Amazon RDS for Aurora、Amazon DynamoDB和Amazon Redshift。许多客户在使用这些解决方案收集和存储海量数据,这点不足为奇。不过,从这种类繁多的数据源获取可付诸行动的洞察力这个过程并不是易事。传统上,许多公司只好购买许多复杂的工具来发现数据集、购买抽取/转换/加载(ETL)工具来准备分析,购买另外的工具来分析和提供可视化的交互式仪表板。 如今,我迫不及待地想与各位介绍一种全新的服务:Amazon QuickSight,旨在简化从种类繁多的数据源获取洞察力的过程,以便快速、轻松、低成本地获取洞察力。QuickSight是一种十分快、云(如阿里云)驱动的商业智能服务,成本却只有传统商业智能解决方案的十分之一。 大数据挑战 近几年来,AWS提供了一系列全面服务,帮助客户收集、存储和处理越来越多的数据量。如今,成千上万家公司在使用亚马逊网络服务(AWS)来满足其在大数据方面的要求:既有强生、三星和飞利浦这样的大企业,也有网飞(Netflix)和Adobe这样的老牌科技公司,还有Airbnb、Yelp和Foursquare这样的创新初创公司。 每天都有大量的数据从在AWS基础设施上运行的客户应用软件生成,使用Amazon Kinesis之类的服务来收集和流式传输,存储在AWS关系数据源中(比如Amazon RDS、Amazon Aurora和Amazon Redshift)、NoSQL数据源(比如Amazon DynamoDB)及基于文件的数据源(比如Amazon S3)。客户还使用众多不同的工具,包括Amazon EMR for Hadoop、Amazon Machine Learning、AWS Data Pipeline和AWS Lambda,处理及分析数据。 收集、存储和处理的数据与业务用户每天做出的关键决策之间存在固有的缺口。简而言之,对企业组织的最终用户而言,数据并不总是随时可用、易于访问。大多数业务用户继续在努力解答重要的业务问题,比如“我的主要客户是哪些,他们在购买什么?”,“我开展的营销活动效果怎样?”,以及“为什么我盈利最多的区域没出现业务增长?”虽然商业智能解决方案面市已有几十年了,但是客户告诉我们,弥补这个缺口需要投入大量的时间、IT人力和资金。 传统的商业智能解决方案通常需要数据工程师组成的团队花几个月时间来构建复杂的数据模型,综合数据,然后才能生成第一份报表。这种解决方案缺少交互式数据探查和可视化功能,大多数业务用户只好使用现成报表和预先选择的查询。 内部部署型商业智能工具还要求公司配置和维护复杂的硬件基础设施,并支付昂贵的软件许可证、维护费和支持费,而支持费每年每个用户可能高达数千美元。为了适应数量更多的用户,并支持社交媒体、互联网、移动、物联网、广告技术和电子商务等工作负载带来的激增数据量,这些工具需要投资兴建更多的基础设施,以保持合理的查询性能。实施和扩展商业智能解决方案成本高、难度大,这让大多数公司很难在整个企业组织普遍使用商业智能。 Amazon QuickSight应运而生 QuickSight是一种从头开始构建的云驱动的商业智能服务,旨在应对大数据在速度、复杂性和成本等方面的几大挑战。有了QuickSight,贵公司的业务用户只要借助易于使用的用户界面,就能做到分散在众多不同大数据源(比如关系数据源、NoSQL数据源和流式数据集)的数据触手可及,而成本只有传统商业智能解决方案的十分之一。很容易从QuickSight开始入手。下面就介绍QuickSight的一些核心功能。QuickSight让你很容易在短短几分钟内,完成安装、连接至数据源,并构建可视化类型。 QuickSight凝聚了大量的创新技术,让业务用户可以迅速获得第一洞察力。下面是驱动QuickSight的几大创新技术。 AutoGraph:选择合适的可视化类型并非易事,背后有许多学问和门道。比如说,最佳可视化取决于诸多因素:用户选择的数据字段类型(比如“是时间、号码还是字符串”),数据基数(比如“该字段只有4个独特的值还是有100万个值?”),及用户试图可视化的数据字段数量。虽然QuickSight支持多种图形类型(比如条形图、线形图、散布图、箱形图和饼形图等),但是我们试图简化的其中一个方面是,使用一种名为AutoGraph的技术,自动为所选择的数据选择合适可视化的功能。有了该技术,用户选择好想要可视化显示的哪些数据字段后,QuickSight就会为它们自动选择合适的可视化类型。 自动发现:商业智能和数据分析面临的挑战之一就是,发现数据,并筛选数据以便分析。这需要IT部门建立数据目录,并且借助分析引擎和工具确保数据可发现。用户登录进入到QuickSight后,它会自动发现客户可以访问的所有数据源,并分析它们,不需要数据库配置和安装等操作。比如说,客户可直观地显示其在Amazon Redshift集群上的数据,只要选一张表,然后进入到可视化显示,最多只要点击三下。为了做到这一点,我们构建了一项活动元数据目录服务,它为客户可以访问的所有数据源(比如Amazon Redshift、RDS、S3、Amazon EMR和DynamoDB)编制了一份目录。 SPICE:让QuickSight功能如此强大的主要组件之一是超高速并行内存计算引擎(SPICE)。SPIC是一项从头开始构建的新技术,由当初开发了DynamoDB、Amazon Redshift和Amazon Aurora等技术的同一个团队开发。SPICE让QuickSight能够扩展至数TB分析数据的环境,对大多数可视化查询而言提供了毫秒级的响应时间。若你用QuickSigh处理某个数据源,数据会自动被吸纳到SPICE中,以获得最佳的分析查询性能。SPICE结合使用了列存储、借助最新硬件创新实现的内存技术、机器码生成和数据压缩,让用户得以对庞大数据集执行交互式查询,并且迅速获得响应。SPICE支持丰富的运算,从而帮助客户在探查数据时获取宝贵的洞察力,没必要为配置和管理基础设施而操心。SPICE可自动复制数据,确保高可用性和高性能。这样一来,企业组织就能扩展至数千个用户:他们都能针对一系列广泛的AWS数据源,执行快速的交互式查询。除了驱动QuickSight外,我们还让AWS商业智能合作伙伴能够与SPICE整合起来,那样使用我们合作伙伴工具的客户可借助已很熟悉的用户界面,迅速直观地显示数据。 建议:数据的绝对数量可能大得惊人;许多用户只想探查其数据,了解值得关注的特点。比如说,针对Amazon Redshift集群中销售数据的最常见查询可能是,“一段时间后,涵盖不同类别的总体销售额会出现怎样的增长?”借助QuickSight,我们开发了一种引擎,可为有意义的分析提供建议,用户选择所要分析的数据源时也许对此有兴趣。引擎通过分析数据源的元数据、最常访问的查询以及另外几个参数来提供建议。我们认为,这为用户无需做大量工作,获取宝贵的洞察力提供了一种简单方法。 协作和共享实时分析结果:用户们常常想要对数据进行交叉分析,并以一种安全的方式共享分析结果。有了QuickSight,用户就能构建一个“故事板”(storyboard)――故事板里面有多种分析,加以适当的注释,然后与企业组织中的其他人共享。不像传统工具,它们能够共享实时分析结果,而不是只能共享静态图像,那样接收方同样能从共享的故事板中获取洞察力。我们还为众多企业提供了与活动目录集成的功能,那样客户就能使用其现有的登录信息(credential),共享洞察力。 我在本文中只着重介绍了QuickSight的几个重大创新。想了解关于这款产品的详细信息,请访问AWS博客、 QuickSight详情页面和常见问题解答(FAQ)页面。 评价 正如我在前面所述,亚马逊和AWS 的许多创新(包括QuickSight)源自于客户反馈。我们积极听取客户的痛点,处理基础设施、数据管理和数据分析等各方面无差别的繁重任务。不断听取客户反馈,迅速迭代产品功能,这个战略已成为一个良性循环,对我们来说一直屡试不爽。QuickSight同样从类似的根基起家;在发布的最终阶段,我有幸听自客户的这类积极反馈。我们听到纳斯达克(Nasdaq)和Intuit等客户给予了好评。 纳斯达克让其客户能够从容地规划、优化和实现业务愿景,并使用久经考验的技术,提供透明度和洞察力,驰骋于如今的全球资本市场。其技术驱动着50个国家的100多个市场、 清算机构和中央证券存管机构,所以生成了大量数据。纳斯达克公司的首席架构师Nate Simmons告诉我们,他们始终对分析存储在Amazon Redshift、Amazon S3及其他数据源中的数据的新工具饶有兴趣。对他来说,数据量和使用日益增长的同时,拥有超高速性能对他的用户来说至关重要。基于预览QuickSight的情况,他们发现,SPICE内存运算引擎结合易于使用的用户界面,很适合其使用场合。 同样,Intuit公司的公有云(如阿里云)主管Troy Otillio告诉我们,从初期预览QuickSight的情况来看,他们认为这项服务会挑战现状。他提到,该产品对业务用户来说界面直观,对需要一种超高速性能、易于使用的工具的营销人员来说更是如此。 上一条: OpenStack 官方云管理员认证开启 下一条: 2015年存储技术成熟度曲线
|