IT运维管理,创造商业价值!
中国IT运维网首页 | 资讯中心 | 运维管理 | 信息安全 | CIO视界 | 云计算 | 最佳案例 | 运维资源 | 专题策划 | 知识库 | 论坛

大数据开拓者 带给人的10大启示【组图】

2011年11月23日
中关村电脑/范平

毋庸置疑,大数据时代已经来了。那么,我们如何去应对这种局面呢?下面,我们听听拥有此方面经验的专家是如何说的吧。

  首先我们要知道,在成百上千TB的信息中,我们该如何充分利用大数据。这完全取决于个人的需求和偏好。Interclick广告服务公司找到了一种在提供接近实时数据分析的同时,能提供更高效的解决方案。哈佛医学院也了解到,在对病人数量和多年保持不变的数据研究的情况下,数据也会明显增长。互联网流量监测机构comSCore,拥有12年的利用列存储数据库压缩数据的丰富经验,事实上,它采用了排序技术来优化压缩、减少处理需求。

  目前,包括雅虎、Facebook、Twitter、NetFlix和eHarmony(美国在线约会网站)都认为,Hadoop是一个理想化的低成本处理 非结构化数据平台。它不仅能满足互联网巨头需要,也能满足包括摩根大通银行和其他主流的传统企业的需求。数据供应商InfoChimps同时发现,随着越来越多的附加和辅助应用的提供,Hadoop将是提供部署支持的快速成熟方案。


大数据开拓者 带给人的10大启示[组图]
大数据时代下的应用

  当然,并非所有的大数据部署都是根据总规模来衡量。比如Linkshare只保留了几个月但每天都需要加载和快速分析多达数十GB的数据,因此对于每天的这些数据规模来说它是一个比较大规模的部署。除此之外,我们还需要注意数据仓库扩展性的六个维度。只有这样,我们才可以制定一个较为准确的方案,从而满足最为苛刻的测试需求,并获得技术投资满足未来需要。

  一、快速查询确保高效和及时

  大规模并行处理平台、列存储数据库、数据库内处理技术和内存计算技术,都可以大幅降低数据查询时间,从数天、数小时缩减到几分钟甚至几秒。但这并不够。纽约广告公司Interclick发现,快速分析带来的最主要好处是高效。快速响应能争取到更多时间进行更多、更深入的查询工作。第二个好处则是,可以获得几近实时分析的结果,据此分析有助于提高决策反应水平和准确率。

大数据开拓者 带给人的10大启示[组图]
Interclick所采用的大数据分析技术

  通过快速响应,Interclick能够在几个小时甚至数分钟内对网上冲浪者的行为进行细分。它能够对访问旅游站点、预订酒店站点等的网名行为信息,发送给相应的航空公司、连锁酒店、汽车租赁公司等。Interclick采用的是ParAccel列存储数据库部署,内存集群可以容纳3.2TB容量的数据。

发表评论请到:http://bbs.cnitom.com

相关阅读

图文热点

大数据的真相:是概念炒作还是数据革命?
大数据的真相:是概念炒作还是数据革命?在今天,围绕大数据的的话题每天不断地在轰炸着我们,大小厂商也在不遗余力地包装...
Gartner:企业加强大数据投资但是质疑回报
Gartner:企业加强大数据投资但是质疑回报据国外媒体报道,美国市场研究公司Gartner近日发布的研究报告显示,虽然全球范围...

本类热点