최근 수정 시각 : 2025-03-04 01:04:57

Apache Hadoop

하둡에서 넘어옴
<colbgcolor=#707070><colcolor=#1f2023,#fff> 아파치 하둡
Apache Hadoop[1]
파일:hadoop-logo.jpg
라이선스 아파치 라이선스
최신 버전 3.4.0 (2024.7.17)
링크 파일:홈페이지 아이콘.svg

1. 개요2. 구조
2.1. HDFS2.2. MapReduce2.3. YARN2.4. Common2.5. Ozone2.6. 기타 서드파티 모듈
3. 버전
3.1. 1.x3.2. 2.x3.3. 3.x
4. 사용 예시

[clearfix]

1. 개요

Apache Hadoop은 일반 상용 서버로 구성된 클러스터에서 사용할 수 있는 분산 파일시스템과 대량의 자료를 처리하기 위한 분산 처리 시스템을 제공하는 아파치 소프트웨어 재단의 오픈 소스 프레임워크이다. Java를 사용하여 개발되었다.

원래 검색 엔진 Nutch의 분산 처리를 위하여 개발되었다. 야후!에 재직 중이던 프로그래머 더그 커팅이 처음 개발하였고, 이후 프로젝트가 아파치 재단으로 넘어간 다음 해당하는 코드를 분리시켜 독자 프로젝트로 발전해 나갔다고 한다.

마스코트는 코끼리인데, 더그 커팅이 아들이 가지고 놀던 코끼리 장난감을 보고 지었다고 한다. 참고로 파생 프로젝트도 상당수가 동물 이름을 따왔다(타조#, 하마# 등).

2. 구조

최신 버전인 3.4를 기준으로 기본적인 모듈들의 개요와 기능에 대해 서술한다.

2.1. HDFS

HDFS는 Hadoop Distributed File System의 약자이며, 분산 컴퓨팅 환경에서 동작하는 파일 시스템 모듈이다. 후술할 MapReduce와 비슷하게 구글의 Google File System(GFS) 논문을 바탕으로 한 오픈 소스 구현체로 시작되었다.

기본적으로 HDFS에서는 파일을 '블록'이라는 단위로 쪼갠 후 다루게 된다. 대형 파일의 경우 통째로 저장하기 보단 일정한 단위로 다루는 것이 훨씬 편리하기 때문.

또한 각 컴퓨터들을 '데이터노드'와 '네임노드'로 구분하여 서로 다른 역할을 맡도록 한다. 데이터노드는 실질적으로 블록을 저장하는 역할을 맡는다면, 네임노드는 각 데이터노드 속에 어떤 블록들이 저장되어 있는지만을 기록한다. 읽고자 하는 블록이 생기면 이게 어느 데이터노드에 저장되어 있는지를 알아야 하기 때문이다.

따라서 사용자가 어떤 대형 파일을 읽으려 할 시에 발생하는 과정은 이렇다.
  1. 찾고자 하는 파일의 블록이 어느 데이터노드에 자리하는지 알기 위해 네임노드를 읽는다.
  2. 해당 데이터노드에 자리한 블록을 사용자에게 전송한다.
  3. 그 파일이 너무 커서 여러 블록으로 쪼개져 저장돼있다면, 그 다음 블록이 자리한 데이터노드의 위치를 파악한다.
  4. 그 다음 블록을 사용자에게 전송한다.
  5. 블록들이 파일을 완전하게 이룰때까지 반복한다.
  6. 읽기 작업을 끝낸다.

2.2. MapReduce

MapReduce 모듈은 구글의 MapReduce 논문을 바탕으로 한 오픈 소스 구현체로 시작되었다.

2.3. YARN

2.4. Common

2.5. Ozone

2.6. 기타 서드파티 모듈


3. 버전

3.1. 1.x

  • HDFS: 분산 파일시스템.
  • MapReduce: 분산처리 시스템.

Map Reduce와 HDFS로만 구성되어 있으며, Hadoop YARN의 ResourceManager 기능은 Map Reduce의 JobTracker라는 이름으로 존재하고 있었다. 또한 아직까지는 Java 8 이하의 버전과만 호환되며, Java 9부터는 모듈 시스템과의 호환성 때문에 문제가 발생할 수 있으니 참고하자.

3.2. 2.x

  • YARN: 스케줄러와 클러스터를 관리하는 모듈.
  • Common: 공통 모듈. 2007년 9월에 Hadoop Core에서 Hadoop Common으로 명칭이 변경되었다.
  • HDFS
  • MapReduce

공통모듈인 Hadoop Common, 스케줄러와 클러스터 관리 모듈인 Hadoop YARN, 분산 파일시스템 HDFS(Hadoop Distributed File System), 분산처리 시스템 Hadoop Map Reduce로 구성되어 있다.

3.3. 3.x

  • Ozone: 객체를 저장하는 모듈.
  • YARN
  • Common
  • HDFS
  • MapReduce

이레이저 코딩이 새로 도입되었다.

4. 사용 예시

사용에 큰 제한이 없는 아파치 라이선스를 가지고 있기 때문에 Map Reduce를 이용하거나, 대량의 파일 시스템을 처리하는 경우에 사용된다. 대표적으로는 Apache Lucene(루씬)을 이용한 검색 엔진이나 기계학습, 빅 데이터 분석 등 여러 분야에서 사용되고 있다.

[1] 영문의 뜻은 High-Availability Distributed Object-Oriented Platform의 약자이다.

분류