[Hadoop] 하둡 core-site.xml 설정파일 확인하기

/home 에 hadoop 을 설치했다고 가정한다.

 

/home/hadoop/etc/hadoop/core-site.xml

- 클러스터 내의 네임노드에서 실행되는 하둡 데몬에 관한 설정

-로그파일, 네트워크 튜닝, I/O튜닝, 파일 시스템 튜닝, 압축 등 하부 시스템 설정 파일

- HDFS(hdfs-site.xml)와 맵리듀스(mapred-site.xml)에서 공통적으로 사용할 환경정보 설정

-만약 core-site.xml 이 없을 경우 core-default.xml 에 있는 기본값을 사용한다.

 

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://마스터호스트:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/tmp</value>

  </property>

</configuration>

 

fs.defaultFS

- hdfs의 기본 이름

- URI 형태

- 데이터 노드는 여러 작업을 진행하기 위해 반드시 네임노드의 주소를 알아야 함

hadoop.tmp.dir

- hdfs와 yarn이 사용할 임시 디렉토리

- 하둡에서 발생하는 임시 데이터를 저장하기 위한 공간

- 디폴트로 /root/tmp 에 데이터를 생성함

 

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://my-hadoop-cluster</value>

  </property>

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>node1:2181,node2:2181,node3:2181</value>

  </property>

</configuration>

 

fs.default.name

- hdfs-site.xml 에서 설정한 하둡 클러스터의 이름으로 설정

ha.zookeeper.quorum

- 주키퍼 HA 구성시 사용

- 구성 갯수는 3, 5, 7과 같은 홀수개로 구성

- 주키퍼 설정파일에서 포트를 2181로 설정하지 않았으면 설정한 포트로 수정할 것