본문 바로가기

백엔드25

Lecture 92 - Hadoop(2) 기초, Yarn 서버 추가법 빅데이터 개념 : 3V 1. Volume(볼륨) : 데이터 크기(헥터바이트 이상의 크기가 나올때, 한개의 서버에 저장하지 못할때) 2. Velocity : 데이터 가공속도 (데이터 생성 속도) 3. Variety : 데이터의 다양성(데이터 내부에 생성되는 데이터의 종류가 다양함) +2가지를 추가한다. complexity value(데이터에 대한 가치성 - 비쥬얼라이제이션(시각화)) => 정규적인 형태의 데이터베이스에서는 처리 불가 => scale-out 형태의 병렬 처리구조(클러스터링) 형태의 데이터 처리구조가 나음(HDFS) => hadoop => 대용량(빅) 데이터를 분산(병렬) 처리할 수 있는 자바 기반의 오픈 소스 프레임워크(서버) => google - GFS, Map/Reduce 논문이 나옴 =.. 2019. 8. 12.
Linux CentOS에 Hadoop 설치 방법 Linux CentOS에 Hadoop을 설치해보자 2019. 8. 8.
Lecture 91 - Hadoop(1) 하둡 개념 및 기초 Hadoop : 복수의 서버를 묶어서 하나의 가상 서버로 사용할 수 있도록 하는 것. ■ 분산 파일 시스템과의 강한 연계를 통해, 높은 스루풋(Throughput) 처리를 실현하는 분산 처리 소프트웨어 : Hadoop은 크게 두 가지 구성 요소로 이루어져 있다. 하나는 분산 파일 시스템으로, 대용량 데이터를 복수의 서버에 저장하는 구조다. 복수의 서버를 조합해서 사용자에게 하나의 큰 파일 시스템을 제공한다. 다른 하나는 병렬 분산 처리를 실현하는 프레임워크다. 이것은 하나의 큰 처리(잡, job)를 복수의 단위(태스크, task)로 분할해서 실행하는 구조다. 이 분산 파일 시스템과 병렬 분산 처리 프레임워크가 공고히 연계되며, 높은 스루풋의 데이터 처리를 실현한다. 기술적인 관점에서 Hadoop을 한마디.. 2019. 8. 7.
Lecture 88 - Python(8) 파이썬을 이용한 우편번호 검색기, nCloud에 python 3 설치 파이선을 활용한 우편번호 검색기 - 강사님 Version ZipSearch.migrationEx01 file = open('zipcode_seoul_utf8_type2.csv', 'r', encoding='utf8') line = file.readline() while line: lines = line.split(',') # statement처럼 print("insert into zipcode values(%s, '%s', '%s', '%s', '%s', '%s', '%s')" %\ (lines[6], lines[0], lines[1], lines[2], lines[3], lines[4], lines[5])) line = file.readline() file.close() ncloud mariadb에서 .. 2019. 8. 1.
Lecture 87 - nCloud에 mariadb 세팅 방법 원격 vmware - linux naver cloud - linux 세팅 - 반복 ncloud에서 서버를 만들어 보자 인증키가 있으면 SSHD 들어갈 수 있다 putty로 45.119.147.183, 외부포트 : 2023으로 접속 * mac에서는 터미널.app 실행 후 ssh 아이디@아이피 -p 포트번호로 접속하면 된다 비밀번호를 치라고 나오면 관리자 비밀번호 입력하면 된다. ex) ssh root@45.119.147.183 -p 2023 yum -y install mariadb yum -y install mariadb-server systemctl start mariadb mysql 1. 관리자 암호 mysqladmin -u root password '!123456!' 2. 접속설정(원격 접속 허용) .. 2019. 7. 31.
Lecture 86 - Python(7) 파이썬에 데이터베이스 연결 데이터베이스를 연결해 보자 python 데이터베이스 연결 내장 데이터베이스 (+API) sqlite(초경량형 데이터베이스 - 파일 - SQL 문) 외부 데이터베이스(API 추가) MySQL, Oracle, DB2 ... * MySQL(mariadb) - python mysqlclient-1.3.13-cp36-cp36m-win_amd64.whl -> zip C:\Python\Python36\Lib\site-package에서 압축 풀기 공식사이트 - 버전때문 => http://www.lfd.uci.edu/~gohlke/pythonlibs/ mac에서 설치 하는법 아래 참조 Mac OS X Python 3 MySQL 연동 MySQL 접속법 C:\Users\kitcoop>cd C:\Program Files\My.. 2019. 7. 30.
Lecture 80 - Python(1) 파이썬 기초, Django, 파이썬 Eclipse에서 설치법 파이썬 - 쉬운 - 학계 * 프로토타입 * 논문언어 * 엔터프라이즈(ee : x) * startup 실무 ... Django는 자바의 스프링과 같은 개념으로 볼 수 있다. Django보다 쉬운게 flask가 있다. https://wikidocs.net/4307 줄을 안맞추면 에러가 난다. tab키 치는거 잘 맞춰야한다. 파이썬 설치 1. 순수 파이썬 언어 www.python.org 2. 파이썬 + 라이브러리(리눅스 배포판을 통해서 무엇이 involve 되었는지에 따라 특성이 달라지는 것 처럼) 아나콘다 (데이터 사이언스) * (빅)데이터 분석 https://www.continuum.io www.anaconda.com 파이썬을 설치해보자 Ex01.ex01.py ''' Created on 2018. 9. 1.. 2019. 7. 19.
Lecture 70 - Linux(8) 클라우드서버 데이터를 이용한 주소 검색 하나의 기능을 나눠야 하는게 클라우드 웹 서버 각 pc 각 pc -> 각각의 PC를 연결하는것이 로드밸런서(부하분산) (=L4 switch) 각 pc www.daum.net 1개의 IP매칭되는것이 기본개념 * 로드밸런싱 파일 서버 각 pc 데이터베이스 서버 각 pc (딴서버와 동시에 접속하지 않음?) 분산/병렬(엔터컴퓨팅) * 서버팜 - 회사내에 전산센터를 없애자는것이 클라우드의 개념(우리회사용자체 클라우드를 생성하는것임) 로드밸런싱(=부하분산) 유사서버생성 - 서버가 복사가 되ㅏ는 것임(다시 세팅하지 않아도 됨) zipcodeEx01.WebContent.META-INF.context ZipcodeEx01/context.xml - resource가 꼭 하나가 아니여도 가능하다 두개이상 이여도 가능 Zip.. 2019. 6. 26.

티스토리툴바