第九周 深圳市模具廠應(yīng)用 大數(shù)據(jù) hadoop spark
帶著很對(duì)疑問(wèn)，到了書(shū)城18樓，
1、centos 如何開(kāi)啟 8888|888|88|8080|80|22|21等等端口
2、建立一個(gè)能使用的大數(shù)據(jù)集群最好需要多少臺(tái)服務(wù)器， 而且都是 centos 7.5 的嗎？
3、區(qū)塊鏈 和 我們學(xué)習(xí)的大數(shù)據(jù)中的 BlocK 有無(wú)聯(lián)系， 64MB 一個(gè) 塊， 還是128M一個(gè)塊。
復(fù)習(xí)上周
發(fā)送心跳， 告訴 ZooKeeper , 這個(gè)是有問(wèn)題才動(dòng)手的軟件， 再由ＺｏｏＫｅｅＰｅｒ 分配KafKA
producr 生產(chǎn)者產(chǎn)生數(shù)據(jù)， 記錄放入 Kafka . Topic 的創(chuàng)建， 寫(xiě)入多少條， 都由 ZooKeeper 管理。
消費(fèi)者， 也是有
KAFKA作為一個(gè)集群， 宕機(jī)后， 主節(jié)點(diǎn)宕機(jī)后無(wú)法消費(fèi)， 由ZooKeeper負(fù)責(zé)重新選舉。
zookeeper 安裝 三種模式
/bin 目錄下有很多腳本 ，
Myid 是不一樣的， 每臺(tái)機(jī)都要安裝 ZooKEEPER , 不同的 ID
2888 仲裁通訊
3888 群首選舉
每臺(tái)服務(wù)器上都要啟動(dòng)一下， 每臺(tái)機(jī)都需要啟動(dòng)
再看看 偽集群模式， 如果只有一臺(tái)機(jī)器， 也可以配置 zoo1.cfg ........ 僅僅是端口改為不一樣了 2181 3181 4181
啟動(dòng)， 一臺(tái)機(jī)器， 也要啟動(dòng)三次
不同端口模擬不同集群
一個(gè)領(lǐng)導(dǎo)者和多個(gè)跟隨者的。
fluke 和 spark 都差不多， 原理還是結(jié)構(gòu)spark ， rdd dij
復(fù)習(xí)完成， 繼續(xù)SPARK 的學(xué)習(xí)。
SPARK核心編程模型
Spark 數(shù)據(jù)運(yùn)算核心機(jī)制：
RDD概述：
RDD： 彈性分布式數(shù)據(jù)集
RDD是 SPARK中重要的數(shù)據(jù)結(jié)構(gòu)。
什么是 RDD ，
顧名思義，從字面理解RDD就是 Resillient Distributed Dataset，即彈性分布式數(shù)據(jù)集。
它是Spark提供的核心抽象。
RDD在抽象上來(lái)講是一種抽象的分布式的數(shù)據(jù)集。它是被分區(qū)的，每個(gè)分區(qū)分布在集群中的不同的節(jié)點(diǎn)上。從而可以讓數(shù)據(jù)進(jìn)行并行的計(jì)算
它主要特點(diǎn)就是彈性和容錯(cuò)性。
彈性：RDD的數(shù)據(jù)默認(rèn)情況下存放在內(nèi)存中的，但是在內(nèi)存資源不足時(shí)，Spark會(huì)自動(dòng)將RDD數(shù)據(jù)寫(xiě)入磁盤
容錯(cuò)性：RDD可以自動(dòng)從節(jié)點(diǎn)失敗中恢復(fù)過(guò)來(lái)。即如果某個(gè)節(jié)點(diǎn)上的RDD partition，因?yàn)楣?jié)點(diǎn)故障，導(dǎo)致數(shù)據(jù)丟了，那么RDD會(huì)自動(dòng)通過(guò)自己的數(shù)據(jù)來(lái)源重新計(jì)算該partition。
RDD來(lái)源：通常是Hadoop的HDFS，Hive 表等等；也可以通過(guò)Linux的本地文件；應(yīng)用程序中的數(shù)組；jdbc（mysql 等）；也可以是kafka、flume數(shù)據(jù)采集工具、中間件等轉(zhuǎn)化而來(lái)的RDD。
總體都在RAM中運(yùn)行的， 現(xiàn)在看看 CACHE ，
不斷的轉(zhuǎn)化， 就是得到 DMG圖， TSK 何在一起就是 TSK site , 最終得到 TSK scuhle
下節(jié)課， 講解 spark 讀取 kafka 數(shù)據(jù)進(jìn)行講解