pbj0812의 코딩 일기

0. 목표 - pip freeze 를 이용한 설치 패키지 목록 저장 1. 실습 1) 가상환경 생성 python -m venv tutorial-env 2) 가상환경 실행 source tutorial-env/bin/activate - 커맨드 라인 앞에 가상환경 명 생성 3) 예제 라이브러리 설치(pandas) pip install pandas 4) 설치 패키지 리스트 확인 pip list 5) 설치 패키지 목록 저장 pip freeze > requirements.txt 6) requirements.txt 내부 7) 새로운 가상환경 생성 - 2 python -m venv tutorial-env2 source tutorial-env2/bin/activate 8) 설치 패키지 확인 pip list - 결과 9) ..

0. 목표 - SkillMetrics(python) 을 통한 테일러 다이어그램 그리기(예제 따라하기) 1. 설치 pip install SkillMetrics - 기본 사용법 import skill_metrics as sm sm.taylor_diagram() - 옵션(링크) 2. 데이터 다운로드 1) github.com/PeterRochford/SkillMetrics/blob/master/Examples/taylor_data.pkl 에서 다운로드 2) 데이터 확인 - 실습 PC 에서는 인코딩 문제로 아래와 같이 코드를 짜야 파일을 열 수 있음 - 해양 or 기상 관련 데이터로 보임 import pickle class Container(object): def __init__(self, pred1, pred2..

0. 목표 - Airflow BashOperator 사용하기 1. flow chart - python 으로 빈 csv 파일을 만들고 그 python 파일을 bash 가 돌리고 그 bash 파일을 Airflow 의 BashOperator 를 이용하여 구동 2. python 파일 생성(make_csv.py) - 해당 위치에 test.csv 라는 빈 csv 파일 생성 def result(): f = open("/Users/pbj0812/Desktop/test_code/test_airflow/test.csv", "w") f.close() if __name__ == "__main__": result() 3. bash 파일 생성(make_csv.sh) - 2. 의 make_csv.py 를 돌리도록 생성 python..

0. 목표 - Kibana에서 날짜를 기준으로 한 바 차트 생성 1. 데이터 삽입 1) library 호출 from elasticsearch import Elasticsearch from elasticsearch import helpers 2) ES 연결 es = Elasticsearch('http://127.0.0.1:9200') es.info() 3) 인덱스 생성 함수 def make_index(es, index_name): if es.indices.exists(index=index_name): es.indices.delete(index=index_name) es.indices.create(index=index_name) 4) 날짜 생성 - ES에서 인덱스 생성시 자동으로 날짜 포맷으로 인식하기 위해..

0. 목표 - Docker redis 설치 및 jupyter notebook 에서 설치 - 플로우 차트 1. 실습 1) redis (1) redis container 생성 - redis 이미지를 이용하여 컨테이너의 6379 포트를 외부(localhost)의 6379 포트와 연결 docker run -d -p 6379:6379 redis (2) container 실행 확인 docker ps 2) python (1) redis library 설치 pip install redis (2) library 호출 import redis (3) redis 연결 r = redis.Redis(host='localhost', port=6379, db=0) (4) 데이터 삽입 r.set('foo', 'bar') (5) 데이터..

0. 목표 - arrow 라이브러리 소개 1. 실습하기 1) 설치 pip install -U arrow 2) library 호출 import arrow 3) arrow 형태 객체 얻기 a = arrow.get('2013-05-11T21:23:58.970460+07:00') print(a) print(type(a)) - 결과 2013-05-11T21:23:58.970460+07:00 4) 지금시간 얻기(UTC 기준) utc = arrow.utcnow() print(utc) - 결과 2020-12-06T14:25:21.215593+00:00 5) 시간 조정하기 utc2 = utc.shift(hours=-1) print(utc2) - 결과 2020-12-06T13:29:06.976277+00:00 6) 타임존..

0. 목표 - PYTHON 을 이용한 TF-IDF 구현 1. 실습 1) library 호출 import pandas as pd from math import log 2) 데이터 생성 doc1 = 'I am a boy' doc2 = 'I am a girl' doc3 = 'I am a a a man' 3) TF-IDF 구현 모듈 - DF 를 먼저 구하여 이후 TF-IDF 를 구할 때 값을 이용해 줌. def doc(*args): doc_list = [] tf = pd.DataFrame() idf = pd.DataFrame() tf_idf = pd.DataFrame() # 단어 리스트 생성 for i in args: # 단어 분해 tmp_list = i.split(' ') # 리스트 결합 doc_list +=..

0. 목표 - PYTHON 을 이용한 문서 단어 행렬(Document-Term Matrix, DTM ) 구현 1. 실습 1) library 호출 import pandas as pd 2) DTM 계산 모듈 구현 - *args 를 이용하여 여러개의 데이터를 인풋으로 받을 수 있게 설계 def doc(*args): doc_list = [] df = pd.DataFrame() for i in args: # 단어 분해 tmp_list = i.split(' ') # 리스트 결합 doc_list += tmp_list doc_list = list(set(doc_list)) for i in doc_list: tmp = [] for j in args: # 단어 분해 tmp_list = j.split(' ') # 단어 세기..

0. 목표 - python 을 이용하여 남은 업무시간 계산하기 1. 실습 1) library 호출 import pandas as pd 2) 기본 메타정보 입력 - 마지막으로 퇴근한 요일 - 일주일간 채워야 하는 근무시간 - 제외시간(점심시간) print('마지막으로 퇴근한 요일을 입력하세요.') print('1부터 7까지의 숫자로 입력하세요(1 : 월요일 ~ 7 : 일요일)') end_day = int(input()) print('일주일간 채워야 하는 시간을 입력하세요(자연수)') total_time = int(input()) print('제외시간을 입력해 주세요(자연수)') except_time = int(input()) - 결과 마지막으로 퇴근한 요일을 입력하세요. 1부터 7까지의 숫자로 입력하세요(..

0. 목표 - PYTHON 을 통한 자카드 유사도 구현 1. 실습 1) 데이터 생성 data1 = 'I am a boy' data2 = 'I am a girl' 2) 자카드 유사도 계산 모듈 구현 - set 을 통한 중복 단어 제거 - 자카드 유사도 : 교집합의 길이 / 합집합의 길이 # inp1 : data1 # inp2 : data2 def JaccardSimilarity(inp1, inp2): list_inp1 = inp1.split() list_inp2 = inp2.split() mom = set(list_inp1).union(set(list_inp2)) son = set(list_inp1).intersection(set(list_inp2)) print(mom) print(son) return l..