pbj0812의 코딩 일기

0. 목표 - 구글 스프레드 시트 데이터를 mysql 에 저장하기 1. 사전준비 1) google api 를 통한 python 과 google spreadsheet 연동 * 링크 참조 2) mysql 테이블 생성 - ADD UNIQUE 를 하는 이유는 나중에 UPSERT 를 하기 위함 CREATE TABLE pbj_db.spreadsheet_test ( datetime datetime, result int ) ENGINE = INNODB; ALTER TABLE pbj_db.spreadsheet_test ADD UNIQUE (`datetime`); 3) 구글시트 더미 데이터 준비 2. 실습 1) library 호출 import gspread from oauth2client.service_account im..

- 해당 코드는 pytchat 0.5.5 공식 문서를 그대로 옮긴 것 임을 먼저 밝힙니다. 0. 목표 - pytchat 을 통한 유투브 라이브 댓글 크롤링 1. 실습 1) pytchat 설치 pip install pytchat * 이미 설치하신 분 들 중 버전이 낮아서 안되는 분들은 업그레이드 필요 pip install --upgrade pytchat==0.5.5 2) library 호출 import pytchat 3) video_id 구하기 - 구하고자 하는 유투브 라이브 방송의 url 중 v= 이후 문자(여기서는 2p-7_CSQ1eU 가 video_id) 4) 코드 실행 chat = pytchat.create(video_id="위에서 구한 video_id 입력") while chat.is_alive(..

0. 목표 - OpenCV 를 이용한 얼굴 비율 산출기 제작 1. 실습 1) library 호출 # library 호출 import cv2 import numpy as np 2) 이미지, cascade 불러오기 # 이미지 imgfile = 'C:/Users/user/jupyter_works/opencv_python/parasite/source/img.jpg' # cascade 호출 cascade_file = "C:/Users/user/jupyter_works/opencv_python/xml/haarcascade_frontface.xml" image = cv2.imread(imgfile) cascade = cv2.CascadeClassifier(cascade_file) 3) 얼굴 검출 # 얼굴 검출 fac..

0. 목표 - 두 개의 dict 일치여부를 판단하기 1. 실습 1) 데이터 생성 - 데이터는 같으나 순서가 다름 obj1 = {'title':'abc', 'people':['Bob', 'Lee'], 'people2':('Bob', 'Lee')} obj2 = {'title':'abc', 'people':['Lee', 'Bob'], 'people2':['Lee', 'Bob']} 2) 일치여부 확인 - False obj1 == obj2 3) 각 dict 의 key 와 values 를 정렬하여 출력하는 함수 제작 - 타입이 str 이었을때는 길이가 스펠링의 길이이기 때문에 예외조항 걸어둠(추가적인 조항이 필요할 수 있음) def dict_order(inp): tmp = [] tmp_key = inp.keys()..

0. 도서 정보 - 도서명 : Python과 SQL을 활용한 실전 데이터 전처리 - 저자 : 이현호 - 링크 1. 후기 - 디자인 : 작고 길쭉한 형태(포켓북의 느낌...), 그래서 들고 다니기에는 편하지만 길쭉한 나머지 글(코드)을 읽기가 힘들다. 이 부분에선 좀 아쉽다고 볼 수 있다. 글이 눈에 안들어오는 느낌... - 책의 구성 : 데이터 전처리에 대한 기본적인 이론 설명을 나열한 뒤, 실제 파일로(공공 데이터) 해당 전처리를 하는 방식이다. 해당 처리에 대하여 SQL 에서는 이렇게 하고, Python 에서는 이렇게 한다의 방식이 아닌 SQL 코드를 Python 이 감싸는 형태로 진행한다. 예를 들면, SQL 에서는 이정도까지만 데이터를 뽑고, Python 에서는 나머지 통계처리를 한다던지 하는....

0. 목표 - matplotlib 으로 Parallel Categories Charts 구현하기 1. plotly 의 Parallel Categories Charts 1) library 호출 import plotly.express as px import pandas as pd 2) 데이터 생성 iris = px.data.iris() 3) 그림 그리기 fig = px.parallel_coordinates(iris, color="species_id") fig.show() - 결과 2. matplotlib 으로 구현 1) library 호출 import matplotlib.pyplot as plt import pandas as pd # ytick 강제 변형을 위해 사용 import numpy as np imp..

0. 목표 - GridSpec 을 이용한 여러 그래프를 같이 그리기 1. 실습 1) library 호출 import seaborn as sns import matplotlib.pyplot as plt from matplotlib import gridspec 2) 데이터 생성 flights_long = sns.load_dataset("flights") 3) heatmap 용 데이터 flights = flights_long.pivot("month", "year", "passengers") 4) barplot 용 데이터 year_df = flights_long.groupby(by = 'year').agg({'passengers' : 'sum'}) month_df = flights_long.groupby(by ..

0. 목표 - 태극문양 그리기 1. 실습 1) library 호출 import matplotlib.pyplot as plt import math import numpy as np 2) 반원 데이터 생성 - 붉은 반원, 푸른 반원으로 쪼개서 그리기 # 붉은 반원 x1 = np.linspace(-math.sqrt(2.5 * 2.5 * 9 / 13), 2.5, 1000) y1 = [] for i in x1: y1.append(math.sqrt((2.5 * 2.5) - (i * i))) x2 = np.linspace(math.sqrt(2.5 * 2.5 * 9 / 13), 2.5, 1000) y2 = [] for i in x2: y2.append(-math.sqrt((2.5 * 2.5) - (i * i))) x_..

0. 목표 - matplotlib 으로 전단지 만들기 1. 실습 1) library 호출 import matplotlib.pyplot as plt # 한글폰트 from matplotlib import rc rc('font', family='AppleGothic') plt.rcParams['axes.unicode_minus'] = False # text 꾸미기 import matplotlib.transforms as mtransforms import matplotlib.patches as mpatch from matplotlib.patches import FancyBboxPatch # image import matplotlib.image as mpimg from matplotlib.offsetbox imp..

0. 목표 - indicate_inset_zoom 을 이용한 줌 인 1. 실습 1) library 호출 import matplotlib.pyplot as plt import numpy as np 2) 데이터 생성 - 줌인할 데이터(5 * 5) small = np.array([ [1.0, 0.5, 1.0, 0.1, 0.3], [0.5, 0.5, 0.5, 0.2, 0.4], [1.0, 0.5, 1.0, 0.3, 0.6], [0.5, 0.5, 0.5, 0.2, 0.4], [1.0, 0.5, 1.0, 0.1, 0.3] ]) - 0으로 이루어진 전체 데이터(200 * 200) - 50, 70 지점에 small 데이터를 얹는 형태 big = np.zeros((200, 200)) ny, nx = small.shape..