• 1
  • 2
  • 3
  • 4
  • 5
阿里云应用开发 首 页  »  帮助中心  »  云服务器  »  阿里云应用开发
“夫妻档”初创公司打造实时Hadoop系统
发布日期:2016-7-30 14:7:56

  总部位于旧金山的初创公司 HStreaming,近期接受了它的第一笔创业投资——来自阿特拉斯风险投资公司的100万美元,这笔资金将会用于打造一个实时的Hadoop系统。这家仅有三个人的公司却已运营了两年左右。

  若问及任何Hadoop的有关人士, Hadoop怎样超越目前的批量处理平台,那“实时”无疑是其中最主要的一个答案。实际上,这也是下个月“ Structure: Data”的一个讨论主题,企业希望Hadoop成为一个 可操作的数据库以及具有 各种类型的OLAP引擎。

  目前,HStreaming公司尝试为他们的Hadoop环境添加一个实时的组件,当数据提交到系统,在存储到磁盘前就会进行数据的处理,就像开源的技术 Storm与Kafka。当然这不是一项简单的工作,Uhlig认为现在的开源版本只处在初级阶段(就像Storm,能完美的对触及到的数据块进行分类),但在分析能力上还有不足。

  另一个方面,HStreaming,已建立了一个完整的系统,该系统能利用实时的引擎来处理视频、传感器、服务器以及其他机器上生成的数据流。而且它也完全兼容Hadoop作为一个归档与批量处理系统。Uhlig也表示,它同时添加了很多现有的BI工具用于数据的分析。


  图1

  更奇妙的是,对Hadoop的用户来说,不需进行任何的改变。HStreaming能通过利用相同的MapReduce算法与用户已编写好的Pig 脚本进行流处理。在实际的操作过程中,Uhlig表示,用户几天内就可从一个仅仅只能进行批处理的系统转移到该实时系统。

  她表示,目前为止,公司目前的收益主要来源于政府(尤其是视频分析,HStreaming可实时处理数以千计的摄像头图像),电信运营商以及广告。未来公司计划把目标放在公共基础设备与金融服务领域。

  HStreaming看起来绝对具备这些技术实力,他们的这些技术也值得阿里云学习。Uhlig是公司的CEO,而公司的CTO是Volkmar Uhlig(她老公),首席软件架构师是Jan Stoess,他们两人都拥有计算机科学博士学位。Volkmar还是L4微内核的首席架构师,他已建立了一个高频的交易系统,曾经在IBM的TJ Watson研究中心工作了五年,期间正是研究流处理技术。