Cloudera - Dev

Spark與Hadoop開發者訓練課程

Developer Training for Spark and Hadoop
  • 時數：28小時
  • 費用：NT$ 64,000
  • 點數：19.0

選擇查詢分區開課時間

地點 班號 日期 時間 報名
台北 22591 班 2022/06/20 ~ 2022/06/23 每週一二三四 09:00~17:00 報名

目前查無開課時段

詳細開課時間請洽詢業務

聯絡恆逸

教材

Cloudera原廠教材

課程目標

本訓練課程以實作型態教授如何使用Apache Spark2開發高效能的平行運算應用程式所需要的關鍵概念與專業知識。您將學習到下列知識：如何使用Spark SQL查詢結構化資料與使用Spark Streaming對來自不同資料源的串流資料進行即時處理，此外開發者將會練習到使用Core Spark撰寫應用程式來進行ETL操作與迭代演算法。本課程還包含如何使用分散式檔案系統之上的大資料集，以及如何在Hadoop叢集執行Spark應用程式。讓您有足夠能力面對真實環境的挑戰與建立Spark應用程式執行產生更快、更好的決策，以及互動式分析，應用在不同的使用案例、架構與產業。

適合對象

  1. 使用Spark在Hadoop之上撰寫程式的開發人員
  2. 希望取得CCP:Data Engineer認證的相關人員

預備知識

  1. 熟悉Python或Scala任一種程式語言
  2. 基本的Linux Command Line操作
  3. 基本的SQL知識

課程內容

  1. Introduction
  2. Introduction to Apache Hadoop and the Hadoop Ecosystem
  3. Apache Hadoop File Storage
  4. Distributed Processing on an Apache Hadoop Cluster
  5. Apache Spark Basics
  6. Working with DataFrames and Schemas
  7. Analyzing Data with DataFrame Queries
  8. RDDs Overview
  9. Transforming Data with RDDs
  10. Aggregating Data with Pair RDDs
  11. Querying Tables and Views with SQL
  12. Working with Datasets in Scala
  13. Writing, Configuring, and Running Spark Applications
  14. Spark Distributed Processing
  15. Distributed Data Persistence
  16. Common Patterns in Apache Spark Data Processing
  17. Introduction to Structured Streaming
  18. Structured Streaming with Apache Kafka
  19. Aggregating and Joining Streaming DataFrames
  20. Conclusion

學會技能

  1. 了解如何應用Apache Hadoop生態體系在資料處理生命週期的不同階段
  2. 了解資料如何在Hadoop Cluster進行分散地儲存與處理
  3. 了解如何在Hadoop Cluster撰寫、設定與部署Spark應用程式
  4. 使用Spark Shell與Spark應用程式探索、處理與分析分散儲存的資料
  5. 使用Spark SQL、DataFrame與Dataset進行資料查詢
  6. 使用Spark Streaming處理即時資料流

備註事項

1.【遠端監考】

2015/5/1起Cloudera認證將改由Innovative Exams提供認證考試服務，採用遠端監考措施，考生可在任何地方包括家裡自行應考(使用Chrome瀏覽器)，考題與認證資格均不變，考生將受web cam、環境影音、鍵盤監控考試狀況。

2.【考試資格購買】

學員可直接到Cloudera網站購買：

CCA Spark and Hadoop Developer：(Exam CCA-175)

https://university.cloudera.com/content/cca175

CCP Data Engineer : (Exam DE575)

https://university.cloudera.com/content/de575