Hadoop是否未来依旧受欢迎

 

     Hadoop的火爆要得益于Google在2003年底和2004年公布的两篇研究论文,其中 份描述了 GFS(Google File System) ,GFS是 个可扩展的大型数据密集型应用的分布式文件系统,该文件系统可在廉价的硬件上运行,并具有可靠的容错能力,该文件系统可为用户提供好高的计算性能,而同时具备小的硬件投资和运营成本。另外 篇则描述了 MapReduce ,MapReduce是 种处理大型及超大型数据集并生成相关执行的编程模型。其主要思想是从函数式编程语言里借来的,同时也包含了从矢量编程语言里借来的特性。基于MapReduce编写的程序是在成千上万的普通PC机上被并行分布式自动执行的。
    8年后,Hadoop已经被广泛使用在网络上,并涉及数据分析和各类数学运算任务。但Google却提出更好的技术。在2009年,网络巨头开始使用新的技术取代GFS和MapReduce。Mike Olson表示“这些技术代表未来的趋势。如果你想知道大规模、高性能的数据处理基础设施的未来趋势如何,我建议你看看Google即将推出的研究论文”。

Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel。

当你谈论大数据的时候你还在说Hadoop?

直播答题平台的架构简介

对直播答题来说,直播间在线用户人数超过百万那是很平常的事情,某一线直播平台旗下的直播答题直播间在线人数更是突破了五百万人。因此,派题的环节要承受百万级别的海量并发压力,而且所有用户都是在活跃答题的,这是传统视频直播不曾面对过的压力。

最近大火的直播答题系统在技术上难实现吗?挑战有多大?

大数据技术学习

什么是大数据
  大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台互联网,和可扩展的存储系统。

大数据- MBA智库百科