大數據技術原理與應用林子雨課后習題答案

1、第 一 章1.試述信息技術發(fā)展史上的 3 次信息化浪潮及具體內容。信息化浪潮第一次浪潮發(fā)生時間1980 年前后標志個人計算機解決問題信息處理代表公司Intel、AMD、IBM、蘋果、微軟、聯(lián)想、戴爾、惠普等第二次浪潮 1995 年前后 互聯(lián)網 信息傳輸 雅虎、谷歌、阿里巴巴、百度、騰訊等第三次浪潮 2010 年前后 物理網、云計算和大數據信息爆炸 將涌現(xiàn)出一批新的市場標桿企業(yè)2. 試述數據產生方式經歷的幾個階段答： 運營式系統(tǒng)階段，用戶

2、原創(chuàng)內容階段，感知式系統(tǒng)階段。3. 試述大數據的 4 個基本特征答：數據量大、數據類型繁多、處理速度快和價值密度低。4. 試述大數據時代的“數據爆炸”的特性答：大數據時代的“數據爆炸”的特性是，人類社會產生的數據一致都以每年 50%的速度增長，也就是說，每兩年增加一倍。5. 數據研究經歷了哪 4 個階段？答：人類自古以來在科學研究上先后歷經了實驗、理論、計算、和數據四種范式。6. 試述大數據對思維方式的重要影響答：大數據時代對思維方式的

3、重要影響是三種思維的轉變：全樣而非抽樣，效率而非精確，相關而非因果。7. 大數據決策與傳統(tǒng)的基于數據倉庫的決策有什么區(qū)別答：數據倉庫具備批量和周期性的數據加載以及數據變化的實時探測、傳播和加載能力，能結合歷史數據和實時數據實現(xiàn)查詢分析和自動規(guī)則觸發(fā)，從而提供對戰(zhàn)略決策和戰(zhàn)術決策?；鞣N IT 資源并通過網絡已服務的方 云計算， 云計算的分布式存儲和管理系法，廉價地提供給用戶；物聯(lián)網的發(fā)展 統(tǒng)提供了海量數據的存儲和管理能力，目標是實現(xiàn)嗚嗚

4、向量， 應用創(chuàng)新是物聯(lián) 沒有這些云計算技術作為支撐， 大數據網的核心 分析就無從談起。 物聯(lián)網的傳感器源源不斷的產生大量數據， 構成了大數據的重要數據來源， 物聯(lián)網需要借助于云計算和大數據技術， 實現(xiàn)物聯(lián)網大數據的存儲、分析和處理。第二章 第二章1. 試述 hadoop 和谷歌的 mapreduce、gfs 等技術之間的關系答：Hadoop 的核心是分布式文件系統(tǒng) HDFS 和 MapReduce，HDFS 是谷歌文件系統(tǒng) GFS 的開

5、源實現(xiàn)，MapReduces 是針對谷歌 MapReduce 的開源實現(xiàn)。2. 試述 Hadoop 具有哪些特性。答：高可靠性，高效性，高可擴展性，高容錯性，成本低，運行在 Linux 平臺，支持多種編程語言3. 試述 Hadoop 在各個領域的應用情況。答：2007 年，雅虎在 Sunnyvale 總部建立了 M45——一個包含了 4000 個處理器和 1.5PB 容量的 Hadooop 集群系統(tǒng)；Facebook 主要將 Hadoo

6、p 平臺用于日志處理，推薦系統(tǒng)和數據倉庫等方面；百度主要使用 Hadoop 于日志的存儲和統(tǒng)計、網頁數據的分析和挖掘、商業(yè)分析、在線數據反饋、網頁聚類等。4. 試述 Hadoop 的項目結構以及每個部分的具體功能。答：Pig Pig Chukwa Chukwa Hive Hive HBase HBaseZookeeper Zookeeper MapReduce MapReduceCommon CommonHDFS HDFSAvro Av