Web & Mobile/Hadoop4 Lecture 93 - Hadoop(3) 3개 서버 연동하기 Hadoop 3개 서버 연동하기 1. namenode - secondary name node (backup) 2. datanode - 여러개 추가 가능 네트워크 네트마스크 : 255.255.255.0 게이트웨이 : 192.168.111.2 네임서버 : 192.168.111.2 1. 서버 (namenode) namenode ip : 192.168.111.131 2. 서버(slave1) secondary namenode datanode 1 ip : 192.168.111.132 3. 서버(slave2) datanode2 ip : 192.168.111.133 2, 3 데이터를 분산하여 가져옴(dfs) 방화벽 설정 CentOS 2개 복사한다. 나머지 slave1, slave2도 위와 같이 해준다. namenode.. 2019. 8. 13. Lecture 92 - Hadoop(2) 기초, Yarn 서버 추가법 빅데이터 개념 : 3V 1. Volume(볼륨) : 데이터 크기(헥터바이트 이상의 크기가 나올때, 한개의 서버에 저장하지 못할때) 2. Velocity : 데이터 가공속도 (데이터 생성 속도) 3. Variety : 데이터의 다양성(데이터 내부에 생성되는 데이터의 종류가 다양함) +2가지를 추가한다. complexity value(데이터에 대한 가치성 - 비쥬얼라이제이션(시각화)) => 정규적인 형태의 데이터베이스에서는 처리 불가 => scale-out 형태의 병렬 처리구조(클러스터링) 형태의 데이터 처리구조가 나음(HDFS) => hadoop => 대용량(빅) 데이터를 분산(병렬) 처리할 수 있는 자바 기반의 오픈 소스 프레임워크(서버) => google - GFS, Map/Reduce 논문이 나옴 =.. 2019. 8. 12. Linux CentOS에 Hadoop 설치 방법 Linux CentOS에 Hadoop을 설치해보자 2019. 8. 8. Lecture 91 - Hadoop(1) 하둡 개념 및 기초 Hadoop : 복수의 서버를 묶어서 하나의 가상 서버로 사용할 수 있도록 하는 것. ■ 분산 파일 시스템과의 강한 연계를 통해, 높은 스루풋(Throughput) 처리를 실현하는 분산 처리 소프트웨어 : Hadoop은 크게 두 가지 구성 요소로 이루어져 있다. 하나는 분산 파일 시스템으로, 대용량 데이터를 복수의 서버에 저장하는 구조다. 복수의 서버를 조합해서 사용자에게 하나의 큰 파일 시스템을 제공한다. 다른 하나는 병렬 분산 처리를 실현하는 프레임워크다. 이것은 하나의 큰 처리(잡, job)를 복수의 단위(태스크, task)로 분할해서 실행하는 구조다. 이 분산 파일 시스템과 병렬 분산 처리 프레임워크가 공고히 연계되며, 높은 스루풋의 데이터 처리를 실현한다. 기술적인 관점에서 Hadoop을 한마디.. 2019. 8. 7. 이전 1 다음
