본문 바로가기

분류 전체보기189

Linux CentOS에 Hadoop 설치 방법 Linux CentOS에 Hadoop을 설치해보자 2019. 8. 8.
Lecture 91 - Hadoop(1) 하둡 개념 및 기초 Hadoop : 복수의 서버를 묶어서 하나의 가상 서버로 사용할 수 있도록 하는 것. ■ 분산 파일 시스템과의 강한 연계를 통해, 높은 스루풋(Throughput) 처리를 실현하는 분산 처리 소프트웨어 : Hadoop은 크게 두 가지 구성 요소로 이루어져 있다. 하나는 분산 파일 시스템으로, 대용량 데이터를 복수의 서버에 저장하는 구조다. 복수의 서버를 조합해서 사용자에게 하나의 큰 파일 시스템을 제공한다. 다른 하나는 병렬 분산 처리를 실현하는 프레임워크다. 이것은 하나의 큰 처리(잡, job)를 복수의 단위(태스크, task)로 분할해서 실행하는 구조다. 이 분산 파일 시스템과 병렬 분산 처리 프레임워크가 공고히 연계되며, 높은 스루풋의 데이터 처리를 실현한다. 기술적인 관점에서 Hadoop을 한마디.. 2019. 8. 7.
Lecture 90 - Python(10) xml, html, json 처리법, 정규식 사용법 원격데이터 xml html(웹페이지) json * csv 문자열 중심(X) https://docs.python.org/3/library/markup.html https://wikidocs.net/42 => 위키독스에서 7장 파이썬도구들 -> 파이썬으로 XML처리하기 -> XML문서생성하기에서 저 내용 복사해서 이클립스에서 복사붙여넣기 파이썬으로 XMl 처리하기 XML 문서 생성하기 DataEx01.note.xml Tove Jani ''' parser = HTMLParser() parser.feed(html.strip()) print(parser.get_starttag_text()) parser.close() 콜 백 자동적으로 문서를 분석해줌 from html.parser import HTMLParser .. 2019. 8. 6.
Lecture 89 - Python(9) url 관련 함수들, 데이터 크롤링, geocoding을 이용한 위치 검색 network URL - url string 관련 클래스 URLConnection - 접속 관련 클래스 - google geolocation xml(json) - jstl (proxy) => urllib 패키지 Socket https://docs.python.org/ko/3/library/urllib.html URLEx01.ex01 - urlparse from urllib.parse import urlparse url = urlparse('https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=starwars') print(url) from urllib.parse import urlparse url = urlp.. 2019. 8. 5.
Lecture 88 - Python(8) 파이썬을 이용한 우편번호 검색기, nCloud에 python 3 설치 파이선을 활용한 우편번호 검색기 - 강사님 Version ZipSearch.migrationEx01 file = open('zipcode_seoul_utf8_type2.csv', 'r', encoding='utf8') line = file.readline() while line: lines = line.split(',') # statement처럼 print("insert into zipcode values(%s, '%s', '%s', '%s', '%s', '%s', '%s')" %\ (lines[6], lines[0], lines[1], lines[2], lines[3], lines[4], lines[5])) line = file.readline() file.close() ncloud mariadb에서 .. 2019. 8. 1.
Lecture 87 - nCloud에 mariadb 세팅 방법 원격 vmware - linux naver cloud - linux 세팅 - 반복 ncloud에서 서버를 만들어 보자 인증키가 있으면 SSHD 들어갈 수 있다 putty로 45.119.147.183, 외부포트 : 2023으로 접속 * mac에서는 터미널.app 실행 후 ssh 아이디@아이피 -p 포트번호로 접속하면 된다 비밀번호를 치라고 나오면 관리자 비밀번호 입력하면 된다. ex) ssh root@45.119.147.183 -p 2023 yum -y install mariadb yum -y install mariadb-server systemctl start mariadb mysql 1. 관리자 암호 mysqladmin -u root password '!123456!' 2. 접속설정(원격 접속 허용) .. 2019. 7. 31.
Lecture 86 - Python(7) 파이썬에 데이터베이스 연결 데이터베이스를 연결해 보자 python 데이터베이스 연결 내장 데이터베이스 (+API) sqlite(초경량형 데이터베이스 - 파일 - SQL 문) 외부 데이터베이스(API 추가) MySQL, Oracle, DB2 ... * MySQL(mariadb) - python mysqlclient-1.3.13-cp36-cp36m-win_amd64.whl -> zip C:\Python\Python36\Lib\site-package에서 압축 풀기 공식사이트 - 버전때문 => http://www.lfd.uci.edu/~gohlke/pythonlibs/ mac에서 설치 하는법 아래 참조 Mac OS X Python 3 MySQL 연동 MySQL 접속법 C:\Users\kitcoop>cd C:\Program Files\My.. 2019. 7. 30.
Lecture 85 - Python(6) 패키지, 내시스템정보확인, 시간, 날짜, webbrowser 패키지 패키지(Packages)는 도트(.)를 이용하여 파이썬 모듈을 계층적(디렉터리 구조)으로 관리할 수 있게 해준다. 예를 들어 모듈명이 A.B인 경우 A는 패키지명이 되고 B는 A 패키지의 B 모듈이 된다. 패키지 안에 모듈이 있는 개념인건가... 패키지 만들기 패키지 기본 구성 요소 준비하기 __init__.py만들기 __init__.py만들기 __init__.py만들기 echo.py 만들기 render.py 만들기 echo.py def echo_test(): print('echo') render.py def render_test(): print('render') 패키지 안의 함수 실행하기 Ex04.ex01 #1 # import game.graphic.render # import game.soun.. 2019. 7. 26.

티스토리툴바