빅데이터3 Lecture 93 - Hadoop(3) 3개 서버 연동하기 Hadoop 3개 서버 연동하기 1. namenode - secondary name node (backup) 2. datanode - 여러개 추가 가능 네트워크 네트마스크 : 255.255.255.0 게이트웨이 : 192.168.111.2 네임서버 : 192.168.111.2 1. 서버 (namenode) namenode ip : 192.168.111.131 2. 서버(slave1) secondary namenode datanode 1 ip : 192.168.111.132 3. 서버(slave2) datanode2 ip : 192.168.111.133 2, 3 데이터를 분산하여 가져옴(dfs) 방화벽 설정 CentOS 2개 복사한다. 나머지 slave1, slave2도 위와 같이 해준다. namenode.. 2019. 8. 13. Linux CentOS에 Hadoop 설치 방법 Linux CentOS에 Hadoop을 설치해보자 2019. 8. 8. Lecture 91 - Hadoop(1) 하둡 개념 및 기초 Hadoop : 복수의 서버를 묶어서 하나의 가상 서버로 사용할 수 있도록 하는 것. ■ 분산 파일 시스템과의 강한 연계를 통해, 높은 스루풋(Throughput) 처리를 실현하는 분산 처리 소프트웨어 : Hadoop은 크게 두 가지 구성 요소로 이루어져 있다. 하나는 분산 파일 시스템으로, 대용량 데이터를 복수의 서버에 저장하는 구조다. 복수의 서버를 조합해서 사용자에게 하나의 큰 파일 시스템을 제공한다. 다른 하나는 병렬 분산 처리를 실현하는 프레임워크다. 이것은 하나의 큰 처리(잡, job)를 복수의 단위(태스크, task)로 분할해서 실행하는 구조다. 이 분산 파일 시스템과 병렬 분산 처리 프레임워크가 공고히 연계되며, 높은 스루풋의 데이터 처리를 실현한다. 기술적인 관점에서 Hadoop을 한마디.. 2019. 8. 7. 이전 1 다음
