Global Vendors Training

Home > > 전체교육일정

전체교육일정

Cloudera Administrator Training

교육일정
교육기간
4일
교육금액
2,394,000원(면세)
전체일정보기 수강신청

교육개요

본 과정은 Hadoop cluster를 Cloudera Manager를 이용해 운영 하고 유지하는 데에 필요한 모든 방법들에 관하여 단계별로 전반적인 핵심내용을 학습합니다. 설치과정부터 설정 방법, 분배 및 튜닝 까지, Cloudera의 교육과정은 실전에서 Hadoop 관리자들이 겪는 상황들에 대비한 최고의 준비 과정이라 할 수 있습니다.



교육목표

- 로깅 수집, 구성 관리, 자원 관리, 보고, 경고 및 서비스 관리 등 클러스터 관리를 쉽게 만들어 주는 Cloudera Manager 기능들
- YARN, MapReduce, Spark 그리고 HDFS에 대한 핵심사항
- Cluster를 위한 올바른 하드웨어와 인프라 기반 시설을 결정
- 데이터 센터와 통합하기 위한 적절한 클러스터 구성 및 배포
- Flume 을 이용하여 동적으로 생성된 파일과 Sqoop을 이용한 RDBMS로 부터 클러스터로 데이터 로드 방법
- Cluster를 이용하는 다수의 사용자들에게 SLA들을 제공해 주기 위해 fair scheduler 설정
- Apache Hadoop를 제공하는 과정에서 준비하고 유지하는 데에 필요한 모범 사례
- 장애처리, 진단, 튜닝, 하둡 이슈들의 해결방안



수강대상

시스템 관리자 및 IT 매니저



선수과목

리눅스 사용 경험



강의내용

Module1. Apache Hadoop 개요
Why Hadoop? Hadoop 기본 개념과 핵심 Hadoop 구성요소

Module2. Hadoop Cluster 설치
클러스터 관리 솔루션에 대한 타당성, Cloudera Manager 기능, 설치와 Hadoop (CDH) 설치

Module3. The Hadoop Distributed File System (HDFS)
HDFS 기능 및 파일을 읽고 쓰는 법, NameNode 메모리 고려사항
HDFS 보안의 개요와 HDFS를 위한 Web UI들, Hadoop File Shell을 사용하기

Module4. MapReduce 와 Spark on YARN
Computational Frameworks 의 역할 및 YARN: 클러스터 리소스 관리자
MapReduce에 대한 개념과 Apache Spark에 대한 개념
YARN에서 Computational Frameworks 실행, Web UI 그리고 Shell 을 이용한 YARN 실습
YARN Application Logs

Module5. Hadoop 구성과 Daemon Logs
Managing 설정에 대한 Cloudera Manager 구축
Locating 설정과 설정변경을 적용하는 법, 인스턴스 및 추가 서비스 역할 관리
HDFS 서비스 설정, Hadoop 데몬 로그 설정, YARN 서비스 설정

Module6. Getting Data Into HDFS
Flume을 이용한 외부 데이터 수집, Sqoop을 이용해 관계형 데이터베이스에서 데이터 수집
REST 인터페이스, Importing Data에 대한 모범 사례

Module7. Planning Hadoop Cluster
일반적인 구성계획 고려사항, 정확한 하드웨어 선택
가상화 옵션, 네트워크 고려사항, 노드 구성

Module8. Hive, Impala, Pig 설치 및 구성
Hive, Impala, Pig

Module9. Hadoop Client, Hue 설치와 구성 방법
Hadoop Clients 개요 및 Hue 설치 및 구성, Hue 인증 및 권한 설정

Module10. 고급 Cluster 구성
고급 구성 매개 변수,
Hadoop Ports 구성, Rack Awareness를 위한 HDFS 구성, HDFS High Availability 구성

Module11. Hadoop 보안
Hadoop 보안의 필요성, Hadoop의 보안 시스템 체계, 커버로스(Kerberos)의 정의와 원리
커버로스를 이용한 Hadoop Cluster 보안, 기타 보안 개념

Module12. Resources 관리
Static 서비스 풀을 이용한 cgroup 기반의 자원 관리 방법
The Fair Scheduler, 동적 자원 풀 구성
YARN Memory 와 CPU 설정, Impala Query Scheduling

Module13. Cluster Maintenance
HDFS 상태 확인, Cluster간 데이터 복사
Cluster 노드를 추가 및 삭제, Cluster 재조정(Rebalancing)
디렉토리 스냅샷, Cluster 업그레이드

Module14. Cluster 모니터링 및 장애처리
Cloudera Manager 모니터링 기능, Hadoop Cluster 모니터링
Hadoop Clusters 장애처리, 일반적인 잘못된 구성 확인



기타

교육비 면세