Spark從入門到精通（Scala編程、案例實戰(zhàn)、高級特性、Spark內核源碼剖析、Hadoop高端）
第1講-Spark的前世今生
第2講-課程介紹、特色與價值
第3講-Scala編程詳解:基礎語法
第4講-Scala編程詳解:條件控制與循環(huán)
第5講-Scala編程詳解:函數入門
第6講-Scala編程詳解:函數入門之默認參數和帶名參數
第7講-Scala編程詳解:函數入門之變長參數
第8講-Scala編程詳解:函數入門之過程、|azy值和異常
第9講-Scala編程詳解:數組操作之Array. ArrayBuffer以及遍歷數組
第10講-Scala編程詳解:數組操作之數組轉換
第11講-Scala編程詳解: Map與Tuple
第12講-Scala編程詳解:面向對象編程之類
第13講-Scala編程詳解:面向對象編程之對象
第14講-Scala編程詳解:面向對象編程之繼承
第15講-Scala編程詳解:面向對象編程之Trait
第16講-Scala編程詳解:函數式編程
第17講- Scala編程詳解:函數式編程之集合操作
第18講-Scala編程詳解:模式匹配
第19講-Scala編程詳解:類型參數
第20講-Scala編程詳解:隱式轉換與隱式參數
第21講- Scala編程詳解: Actor入門
第22講課程環(huán)境搭建: CentOS 6.5集群搭建:
第22講-課程環(huán)境搭建: Virtual Box使用注意(必看)
第23講課程環(huán)境搭建: Hadoop 2.4.1集群搭建
第24講-課程環(huán)境搭建: Hive 0.13搭建
第25講_課程環(huán)境搭建: ZooKeeper 3.4.5集群搭建
第26講_課程環(huán)境搭建: kafka. 2.9.2-0.8.1集群搭建
第27講課程環(huán)境搭建: Spark 1.3.0集群搭建
第28講- Spark核心編程: Spark基本工作原理與RDD
第29講- Spark核心編程:使用Java. Scala和spark-shell開發(fā)wordcount程序,
第30講- Spark核心編程: wordcount程序原理深度剖析
第31講-Spark核心編程: Spark架構原理
第32講-Spark核心編程:創(chuàng)建RDD(集合、本地文件. HDFS文件)
第33講-Spark核心編程:操作RDD ( transformation和action案例實戰(zhàn))
第34講Spark核心編程: transformation操作開發(fā)實戰(zhàn)
第35講-Spark核心編程: action操作開發(fā)實戰(zhàn)
第36講- Spark核心編程: RD持久化詳解
第37講-Spark核心編程:共享變量( Broadcast Variable和Accumulator )
第38講- Spark核心編程:高級編程之基于排序機制的wordcount程序
第39講- Spark核心編程:高級編程之=次排序
第40講- Spark核心編程:高級編程之topn
第41講- Spark內核源碼深度剖析: Spark內核架構深度剖析
第42講-Spark內核源碼深度剖析:寬依賴與窄依賴深度剖析
第43講-Spark內核源碼深度剖析:基于Vrn的兩種提交模式深度剖析
第43講Spark內核源碼深度剖析:這是上一講的補充說明
第44講-Spark內核源碼深度剖析: SparkContext原理剖析與源碼分析
第45講-Spark內核源碼深度剖析: Master主備切換機制原理剖析與源碼分析
第46講- Spark內核源碼深度剖析: Master注冊機制原理剖析與源碼分析
第47講-Spark內核源碼深度剖析: Master狀態(tài)改變處理機制原理剖析與源碼分析
第48講-Spark內核源碼深度剖析: Master資源調度算法原理剖析與源碼分析:
第49講- Spark內核源碼深度剖析: Worker原理剖析與源碼分析
第50講-Spark內核源碼深度剖析: job觸發(fā)流程原理剖析與源碼分析
第51講- Spark內核源碼深度剖析: DAGScheduler原理剖析與源碼分析
第52講Spark內核源碼深度剖析: TaskScheduler原理剖析與源碼分析
第53講-Spark內核源碼深度剖析: Executor原理剖析與源碼分析
第54講- Spark內核源碼深度剖析: Task原理剖析與源碼分析
第55講Spark內核源碼深度剖析: Shuffle原理剖析與源碼分析
第56講-Spark內核源碼深度剖析: BlockManager原理剖析與源碼分析
第57講-Spark內核源碼深度剖析: CacheManager原理剖析與源碼分析
第58講-Spark內核源碼深度剖析: Checkpoint原理剖析
第59講Spark性能優(yōu)化:性能優(yōu)化概覽
第60講- Spark性能優(yōu)化:診斷內存的消耗:
第61講-Spark性能優(yōu)化:高性能序列化類庫
第62講- Spark性能優(yōu)化:優(yōu)化數據結構
第63講- Spark性能優(yōu)化:對多次使用的RDD進行持久化或Checkpoint
第64講- Spark性能優(yōu)化:使用序列化的持久化級別:
第65講-Spark性能優(yōu)化: Java虛擬機垃圾回收調優(yōu)
第66講- Spark性能優(yōu)化:提高并行度
第67講Spark性能優(yōu)化:廣播共享數據
第68講- Spark性能優(yōu)化:數據本地化:
第69講-Spark性能優(yōu)化: reduceByKey和groupByKey
第70講Spark性能優(yōu)化: shuffle性能優(yōu)化
第71講-課程環(huán)境搭建: Spark新版本特性、Spark 1.5.1源碼編譯、Spark 1.5.1集群搭建
第72講- Spark SQL :前世今生
第73講-Spark SQL : DataFrame的使用
第74講-Spark SQL :使用反射方式將RDD轉換為DataFrame
第75講-Spark SQL :使用編程方式將RDD轉換為DataFrame
第76講- Spark SQL :數據源之通用的load和save操作
第77講-Spark SQL : Parquet數據源之使用編程方式加載數據
第78講-Spark SQL : Parquet數據源之自動分區(qū)推斷
第79講-Spark SQL : Parquet數據源之臺并元數據
第80講-Spark SQL : JSON數據源復雜綜合案例實戰(zhàn)
第81講-Spark SQL : Hive數據源復雜綜合案例實戰(zhàn)
第82講-Spark SQL : JDBC數據源復雜綜合案例實戰(zhàn)
第83講- Spark SQL :內置函數以及每日uv.銷售額統(tǒng)計案例實戰(zhàn)
第84講Spark SQL :開套函數以及top3銷售額統(tǒng)計案例實戰(zhàn)
第85講-Spark SQL : UDF自定義函數實戰(zhàn)
第86講-Spark SQL : UDAF自定義聚合函數實戰(zhàn)
第87講-Spark SQL :工作原理剖析以及性能優(yōu)化
第87講-Spark SQL :核心源碼深度剖析( DataFrame lazy特性. Optimizer優(yōu)化策略等)
第87講-Spark SQL :延伸知識之Hive On Spark
第87講Spark SQL :與Spark Core整合之每日top3熱點搜索詞統(tǒng)計案例實戰(zhàn)
第88講-Spark Streaming :大數據實時計算介紹
第89講Spark Streaming : DStream以及基本工作原理
第90講-Spark Streaming :與Storm的對比分析
第91講-Spark Streaming :實時wordcount程序開發(fā)
第92講-Spark Streaming : StreamingContext洋解
第93講- Spark Streaming :輸入DStream和Receiver詳解
第94講-Spark Streaming :輸入DStream之基礎數據源以及基于HDFS的實時wordcount程序
第95講-Spark Streaming :輸入DStream之Kafka數據源實戰(zhàn)(基于Receiver的方式)
第96講Spark Streaming :輸入DStream之Kafka數據源實戰(zhàn)(基于Direct的方式)
第97講Spark Streaming : DStream的transformation操作概覽,
第98講- Spark Streaming : updateStateByKey以及基于緩存的實時wordcount程序
第99講-Spark Streaming : transform以及廣告計費日志實時名單過濾案例實戰(zhàn)
第100講-Spark Streaming : window滑動窗口以及熱點搜索詞滑動統(tǒng)計案例實戰(zhàn)
第101講-Spark Streaming : DStream的outpu操作以及foreachRDD詳解
第102講-Spark Streaming :與Spark SQL結合使用之top3熱門商品實時統(tǒng)計案例實戰(zhàn)
第103講-Spark Streaming :緩存與持久化機制
第104講-Spark Streaming : Checkpoint機制
第105講-Spark Streaming :部署、升級和監(jiān)控應用程序
第106講-Spark Streaming :容錯機制以及事務語義詳解
第107講-Spark Streaming :架構原理深度剖析
第108講-Spark Streaming : StreamingContext初始化與Receiver啟動原理剖析與源碼分析
第109講-Spark Streaming :數據接收原理剖析與源碼分析
第110講-Spark Streaming :數據處理原理剖析與源碼分析( block與batch關系透徹解析)
第111講-Spark Streaming :性能調優(yōu):
第112講_課程總結,
第113講-Scala編程進階: Scaladoc的使用
第114講-Scala編程進階:跳出循環(huán)語句的3種方法
第115講-Scala編程進階:多維數組、Java數組與Scala數組的隱式轉換:
第116講-Scala編程進階: Tuple拉鏈操作. Java Map與Scala Map的隱式轉換
第117講-Scala編程進階:擴大內部類作用域的2種方法、內部類獲取外部類引用
第118講-Scala編程進階: package與import實戰(zhàn)詳解
第119講-Scala編程進階:重寫field的提前定義、 Scala繼承層級、 對象相等性
第120講- Scala編程進階:文件操作實戰(zhàn)洋解
第121講- Scala編程進階:偏函數實戰(zhàn)詳解,
第122講- Scala編程進階:執(zhí)行外部命令
第123講- Scala編程進階:正則表達式支持
第124講- Scala編程進階:提取器實戰(zhàn)詳解,
第125講- Scala編程進階:樣例類的提取器實戰(zhàn)詳解
第126講- Scala編程進階:只有-個參數的提取器:
第127講- Scala編程進階:注解實戰(zhàn)詳解
第128講- Scala編程進階:常用注解介紹
第129講- Scala編程進階: XML基礎操作實戰(zhàn)詳解.
第130講- Scala編程進階: XML中嵌入scala代碼
第131講-Scala編程進階: XML修改元素實戰(zhàn)詳解
第132講- Scala編程進階: XML加載和寫入外部文檔
第133講-Scala編程進階:集合元素操作
第134講- Scala編程進階:集合的常用操作方法
第135講- Scala編程進階: map. flatMap. collect. foreach實戰(zhàn)詳解,
第136講-Scala編程進階: reduce和fold實戰(zhàn)詳解
第137講-環(huán)境搭建-CentOS 6.4虛擬機安裝
第138講-環(huán)境搭建Hadoop 2.5偽分布式集群搭建
第139講-環(huán)境搭建-Spark 1.5偽分布式集群搭建
第140講-第- -次課程升級大綱介紹以及要點說明
第141講-Spark核心編程進階-Spark集群架構概覽
第142講-Spark核心編程進階-Spark集群架構的幾點特別說明
第143講-Spark核心編程進階-Spark的核心術語講解
第144講-Spark核心編程進階-Spark Standalone集群架構
第145講- Spark核心編程進階-單獨啟動master和worker腳本詳解
第146講Spark核心編程進階-實驗:單獨啟動master和worker進程以及啟動日志查看
第147講Spark核心編程進階-worker節(jié)點配置以及spark-evn.sh參數詳解
第148講- Spark核心編程進階-實驗: local模式提交spark作業(yè):
第149講Spark核心編程進階-實驗: standalone client模式提交spark作業(yè)
第150講- Spark核心編程進階-實驗: standalone cluster模式提交spark作業(yè)
第151講- Spark核心編程進階-standalone模式下的多作業(yè)資源調度
第152講-Spark核心編程進階-standalone模式下的作業(yè)監(jiān)控與日志記錄
第153講Spark核心編程進階-實驗:運行中作業(yè)監(jiān)控以及手工打印日志
第154講Spark核心編程進階-yarn-client模式原理講解
第155講- Spark核心編程進階-yarn-cluster模式原理講解
第156講- Spark核心編程進階-實驗: yarn-client模式提交spark作業(yè)
第157講- Spark核心編程進階~yarn模式下日志查看詳解,
第158講- Spark核心編程進階-yarn模式相關參數詳解
第159講- Spark核心編程進階-spark工程打包以及spark-submit洋解
第160講- Spark核心編程進階-spark- submit示例以及基礎參數講解
第161講-Spark核心編程進階-實驗: spark-submit最簡單版本提交spark作業(yè)
第162講- Spark核心編程進階-實驗: spark-submit給main類傳遞參數
第163講Spark核心編程進階-spark- submit多個示例以及常用參數詳解,
第164講-Spark核心編程進階-SparkConf. spark-submit以及spark-defaults.conf
第165講Spark核心編程進階-spark- submit配置第三方依賴_
第166講Spark核心編程進階-spark算子的閉包原理詳解
第167講Spark核心編程進階-實驗:對閉包變量進行累加操作的無效現(xiàn)象
第168講Spark核心編程進階-實驗:在算子內打印數據的無法看到現(xiàn)象
第169講- Spark核心編程進階-mapPartitions以及學生成績查詢案例
第170講-Spark核心編程進階-mapPartitionsWithIndex以開學分班案例
第171講- Spark核心編程進階-sample以及公司年會抽獎案例
第172講-Spark核心編程進階-union以及公司部門合并案例
第173講- Spark核心編程進階-intersection以及公司跨多項目人員查詢案例
第174講-Spark核心編程進階-distinct以及網站uv統(tǒng)計案例
第175講-Spark核心編程進階-aggregateByKey以及單詞計數案例
第176講-Spark核心編程進階-cartesian以及服裝搭配案例
第177講-Spark核心編程進階-coalesce以及公司部門]整合案例
第178講-Spark核心編程進階-repartition以及公司新增部]案例
第179講-Spark核心編程進階-takeSampled以及公司年會抽獎案例
第180講-Spark核心編程進階-shuffle操怍原理詳解.
第181講-Spark核心編程進階-shuffle操作過程中進行數據排序
第182講- Spark核心編程進階-會觸發(fā)shuffle操作的算子
第183講-Spark核心編程進階-shuffle操作對性能消耗的原理詳解
第184講-Spark核心編程進階-shuffle操作所有相關參數詳解以及性能調優(yōu)
第185講-Spark核心編程進階-綜合案例1 :移動端app訪問流量日志分析
第186講- Spark核心編程進階-綜合案例1 :日志文件格式分析
第187講-Spark核心編程進階-綜合案例1 :讀取日志文件并創(chuàng)建RDD
第188講-Spark核心編程進階-綜合案例1 :創(chuàng)建自定義的可序列化類
第189講-Spark核心編程進階-綜合案例1 :將RDD映射為key-value格式
第190講-Spark核心編程進階-綜合案例1 :基于deviceID進行聚合操作
第191講- Spark核心編程進階-綜合案例1 :自定義二次排序key類,
第192講-Spark核心編程進階-綜合案例1 :將二次排序key映射為RDD的key
第193講-Spark核心編程進階-綜合案例1 :執(zhí)行二次排序以及獲取top10數據
第194講- Spark核心編程進階-綜合案例1 :程序運行測試以及代碼調試
第195講- Spark核心編程進階-部署第二二臺CentOS機器,
第196講- Spark核心編程進階-部署第二二個Hadoop節(jié) 點
第197講Spark核心編程進階-將第二二個Hadoop節(jié) 點動態(tài)加入集群，
第198講- Spark核心編程進階-使用yarn-client和yarn-cluster提交spark作業(yè)
第199講- Spark內核原理進階-union算子內部實現(xiàn)原理剖析
第200講- Spark內核原理進階-groupByKey算子內部實現(xiàn)原理剖析
第201講- Spark內核原理進階-reduceByKey算子內部實現(xiàn)原理剖析:
第202講Spark內核原理進階-distinct算子內部實現(xiàn)原理剖析
第203講- Spark內核原理進階-cogroup算子內部實現(xiàn)原理剖析:
第204講Spark內核原理進階-intersection算子內部實現(xiàn)原理剖析
第205講- Spark內核原理進階個join算子內部實現(xiàn)原理剖析
第206講-Spark內核原理進階~-sortByKey算子內部實現(xiàn)原理剖析
第207講- Spark內核原理進階-cartesian算子內部實現(xiàn)原理剖析
第208講- Spark內核原理進階-coalesce算子內部實現(xiàn)原理剖析:
第209講- Spark內核原理進階-repartition算子內部實現(xiàn)原理剖析
第210講- Spark SQL實戰(zhàn)開發(fā)進階-Hive 0.13安裝與測試,
第211講Spark SQL實戰(zhàn)開發(fā)進階-Thrit JDBC. ODBC Server
第212講-Spark SQL實戰(zhàn)開發(fā)進階-CL命令行使用
第213講- Spark SQL實戰(zhàn)開發(fā)進階-綜合案例2 :新聞網站關鍵指標離線統(tǒng)計
第214講- Spark SQL實戰(zhàn)開發(fā)進階-綜合案例2 :頁面pv統(tǒng)計以及排序和企業(yè)級項目開發(fā)流程說明
第215講- Spark SQL實戰(zhàn)開發(fā)進階綜合案例2 :頁面uv統(tǒng)計以及排序和count(distinct) bug說明
第216講- Spark SQL實戰(zhàn)開發(fā)進階綜合案例2 :新用戶注冊比例統(tǒng)計
第217講- Spark SQL實戰(zhàn)開發(fā)進階綜合案例2 :用戶跳出率統(tǒng)計
第218講- Spark SQL實戰(zhàn)開發(fā)進階綜合案例2 :版塊熱度排行榜統(tǒng)計
第219講- Spark SQL實戰(zhàn)開發(fā)進階綜合案例2 :測試與調試
第220講-Spark Streaming實戰(zhàn)開發(fā)進階-lume安裝
第221講-Spark Streaming實戰(zhàn)開發(fā)進階-接收flume實時數據流flume風格的基于push的方式
第222講-Spark Streaming實戰(zhàn)開發(fā)進階接收fume實時數據流自定義sink的基于poll的方式
第223講-Spark Streaming實戰(zhàn)開發(fā)進階-高階技術之自定義Receiver
第224講-Spark Streaming實戰(zhàn)開發(fā)進階-kafka安裝
第225講-Spark Streaming實戰(zhàn)開發(fā)進階-綜合案例3 :新聞網站關鍵指標實時統(tǒng)計
第226講-Spark Streaming實戰(zhàn)開發(fā)進階-綜合案例3 :頁面pv實時統(tǒng)計
第227講-Spark Streaming實戰(zhàn)開發(fā)進階綜合案例3 :頁面uv實時統(tǒng)計
第228講-Spark Streaming實戰(zhàn)開發(fā)進階-綜合案例3 :注冊用戶數實時統(tǒng)計
第229講-Spark Streaming實戰(zhàn)開發(fā)進階-綜合案例3 :用戶跳出量實時統(tǒng)計
第230講-Spark Streaming實戰(zhàn)開發(fā)進階-綜合案例3 :版塊pv實時統(tǒng)計
第231講-Spark運維管理進階基于ZooKeeper實現(xiàn)HA高可用性以及自動主備切換
第232講-Spark運維管理進階-實驗:基于ZooKeeper實現(xiàn)HA高可用性以及自動主備切換
第233講-Spark運維管理進階基于文件系統(tǒng)實現(xiàn)HA高可用性以及手動主備切換
第234講-Spark運維管理進階-實驗:基于文件系統(tǒng)實現(xiàn)HA高可用性以及手動主備切換
第235講-Spark運維管理進階-作業(yè)監(jiān)控-實驗:通過Spark Web UI進行作業(yè)監(jiān)控
第236講-Spark運維管理進階-作業(yè)監(jiān)控-實驗: standalone模式下查看歷史作業(yè)的Web UI
第237講-Spark運維管理進階-作業(yè)監(jiān)控-實驗:啟動HistoryServer查看歷史作業(yè)的Web UI
第238講-Spark運維管理進階-作業(yè)監(jiān)控-實驗:使用curl+ REST API進行作業(yè)監(jiān)控
第239講-Spark運維管理進階-作業(yè)監(jiān)控-實驗: Spark Metrics系統(tǒng)以及自定義Metrics Sink
第240講-Spark運維管理進階-作業(yè)資源調度靜態(tài)資源分配原理
第241講-Spark運維管理進階作業(yè)資源調度動態(tài)資源分配原理
第242講-Spark運維管理進階作業(yè)資源調度-實驗: standalone模式下使用動態(tài)資源分配
第243講-Spark運維管理進階-作業(yè)資源調度實驗: yarn模式下使用動態(tài)資源分配
第244講-Spark運維管理進階-作業(yè)資源調度多個job資源調度原理
第245講- Spark運維管理進階-作業(yè)資源調度Fair Scheduler使用詳解
第246講- Spark 2.0-新特性介紹
第247講Spark 2.0-新特性介紹易用性:標準化SQL支持以及更合理的APl
第248講- Spark 2.0-新特性介紹-高性能:讓Spark作為編譯器來運行
第249講- Spark 2.0-新特性介紹智能化: Structured Streaming介紹
第250講-Spark 2.0-新特性介紹-Spark 1.x的Volcano Iterator Model技術缺陷分析
第251講-Spark 2.0-新特性介紹-whole-stage code generation技術和vectorization技術,
第252講-Spark 2.0-Spark 2.x與51.x對比以及分析、學習建議以及使用建議
第253講-Spark 2.0-課程環(huán)境搭建:虛擬機、CentOS. Hadoop. Spark等.
第254講-Spark 2.0-開發(fā)環(huán)境搭建: Eclipse+Maven+ Scala+ Spark
第255講- Spark 2.0-SparkSession. Dataframe. Dataset開發(fā)入門
第256講-Spark 2.0-Dataset開發(fā)詳解初步體驗untypd操作案例:計算部門平均年齡與薪資,
第257講-Spark 2.0-Dataset開發(fā)詳解-action操作: collect. count. foreach. reduce等
第258講- Spark 2.0-Dataset開發(fā)詳解基礎操作: 持久化、臨時視圖、ds與df互轉換、寫數據等
第259講- Spark 2.0-Dataset開發(fā)詳解-typed操作: coalesce. repartition
第260講- Spark 2.0-Dataset開發(fā)詳解-typed操作: distinct. dropDuplicates
第261講- Spark 2.0-Dataset開發(fā)詳解typed操作: except. filter. intersect
第262講- Spark 2.0-Dataset開發(fā)詳解-typed操作: map. flatMap. mapPartitions
第263講- Spark 2.0-Dataset開發(fā)詳解-typed操作: joinWith
第264講- Spark 2.0-Dataset開發(fā)詳解-typed操作: sort
第265講-Spark 2.0-Dataset開發(fā)詳解-typed操作: randomSplit. sample
第266講- Spark 2.0-Dataset開發(fā)詳解-untyped操作: select. where. groupBy. agg. col. join
第267講-Spark 2.0-Dataset開發(fā)詳解聚合函數: avg. sum. max. min. count. countDistinct
第268講- Spark 2.0-Dataset開發(fā)詳解聚合函數: collect list. collect set
第269講- Spark 2.0-Dataset開發(fā)詳解其他常用函數
第270講-Spark 2.0-Structured Streaming :深入淺出的介紹
第271講-Spark 2.0-Structured Streaming : wordcount入I ]案例
第272講-Spark 2.0-Structured Streaming :編程模型
第273講-Spark 2.0-Structured Streaming :創(chuàng)建流式的dataset和dataframe
第274講-Spark 2.0-Structured Streaming :對流式的dataset和dataframe執(zhí)行計算操作
第275講-Spark 2.0-Structured Streaming : output mode. sink以及foreach sink詳解
第276講-Spark 2.0-Structured Streaming :管理streaming query
第277講-Spark 2.0-Structured Streaming :基于checkpoint的容錯機制