전체교육일정
교육개요
Big Data에 대한 기본 개념 정의부터 시작해 Big Data 처리 과정별 주요 기술을 소개하여 Big Data를 위해 어떤 기술을 사용할 수 있으며, 어떤 상황에 어떤 기술을 선택해야 하는지에 대한 안목을 길러줍니다. 아울러 현직에 종사하는 실무자나 기업의 의사결정자가 Big Data 기술을 도입하기 위해 기술 전반에 대한 그림을 그리는 데에 본 과정이 도움이 될 것입니다.
수강대상
- 정보화 및 IT혁신사업 담당자
- 전산시스템 및 데이터 관리 담당자
- 빅데이터에 관심 있는 재직자
선수과목
- 빅데이터 아키텍처 설계 및 운영 역량
- 분산 처리 시스템 이해 및 하둡 플랫폼 활용 역량
강의내용
1. Big Data의 이해와 플랫폼
- Big Data 개요, Big Data 플랫폼 이해
- Big Data 소프트웨어 분류
- Big Data 수집/저장/처리/분석 기술
- Big Data와 Hadoop 기술
2. Hadoop 개요
- Hadoop의 핵심 구성 요소, HDFS 아키텍처
- MapReduce(병렬처리) 아키텍처
- Hadoop 에코 시스템 이해
3. Hadoop 인프라 설계
- Hadoop 인프라 설계 개요, 설계 사례
- Big Data를 위한 H/W, N/W 설계 방법
- 상용 Hadoop 클러스터 매니저 소개
4. Hadoop 플랫폼 구축 실습
- Bash Shell Fast Track
- DevOps (Bash Shell 기반) 실습
- Hadoop Cluster 설치
- Docker 기반 Micro Architecture 실습
5. Hadoop 클러스트 활용 및 관리
- MapReduce 병렬 처리 실습
- HDFS 쿼터 및 디렉토리 구조
- HDFS Storage 모니터링
- 네임노드 관리, 데이터 노드의 추가 / 삭제, 클러스터 보안 정책, 백업 및 복구
6. 배치 처리 아키텍처 / 실시간 아키텍처
- 배치 처리 기반 오픈소스별 특징
- Flume, Hive, MapReduce, HDFS, ozzie, sqoop, RDBMS 등
- Input data / Output data / Data Processing needs 분석
- 실시간 처리 기반 오픈소스별 특징
- Flume, Kafka, Spark Streaming, Elastic, search, Kibana 등
- 데이터 수집 / 저장 -Flume 설치 및 설정