pbj0812의 코딩 일기

0. 목차 및 내용 1) Creating, Reading and Writing - DataFrame 제작 방법(개인적으로는 dict 형태로만 썼었는데, 아래와 같이 쓸 수도 있음) fruit_sales = pd.DataFrame([[35, 21], [41, 34]], columns=['Apples', 'Bananas'], index=['2017 Sales', '2018 Sales']) - Series 에 관한 설명 - read_csv 를 통한 csv 파일 읽기 2) Indexing, Selecting & Assigning - iloc과 loc의 차이(iloc 은 stdlib indexing 기반 이기에 0:10 의 결과가 10개 나오지만 loc 은 11개가 나옴) - 해당 조건에 맞는 결과 추출 - 열 ..

0. 목표 - Procedure 를 통한 임시 데이터 보관 테이블 생성 1. Flow Chart 2. SQL 1) 테이블 생성 (1) sp_test1(raw table 저장소) CREATE TABLE pbj_db.sp_test1 ( datetime datetime, result int ) ENGINE = INNODB; (2) sp_test2(임시 데이터 저장소) CREATE TABLE pbj_db.sp_test2 ( datetime datetime, result int ) ENGINE = INNODB; 2) 프로시저 생성 - 실행시 1분 전의 데이터들을 모아서 연산 DELIMITER $$ CREATE PROCEDURE pbj_db.what_time_is_it_now() BEGIN # 지우기 DELETE ..

1. 목표 - HATCH 를 통한 bar 그래프에 문양 넣기 * 주의사항 : matplotlib 3.4.0 버전 신규 기능(링크) 2. 실습 1) matplotlib 업데이트 - jupyter notebook 내에서 업데이트를 하였기에 앞에 ! 붙임 !pip install --upgrade matplotlib 2) library 호출 import matplotlib.pyplot as plt 3) hatch 를 통한 bar에 문양 적용 - *+-./OX\ox| 적용 가능 fig, ax = plt.subplots() ax.bar(1, 1, hatch=['*']) plt.show() (1) * (2) + (3) - (4) . (5) / (6) O(대문자) (7) X(대문자) (8) \ - '\' 이렇게 하면 ..

0. 목표 - pivot, pivot_table 문서 따라하기 1. pivot 1) library 호출 import pandas as pd 2) 데이터 생성 df = pd.DataFrame({'foo': ['one', 'one', 'one', 'two', 'two', 'two'], 'bar': ['A', 'B', 'C', 'A', 'B', 'C'], 'baz': [1, 2, 3, 4, 5, 6], 'zoo': ['x', 'y', 'z', 'q', 'w', 't']}) 3) - foo 를 행기준으로 bar 를 열 기준으로 baz 를 채워넣기 df.pivot(index='foo', columns='bar', values='baz') 4) - 3) 과 동일한 결과 df.pivot(index='foo', col..

0. 묵표 - pandas melt 도큐먼트 따라하기 1. 실습 1) library 호출 import pandas as pd 2) 데이터 생성 df = pd.DataFrame({'A' : ['a', 'b', 'c'], 'B' : [1, 2, 3], 'C' : [4, 5, 6]}) 3) melt 예제 따라하기 (1) pd.melt(df, id_vars=['A'], value_vars=['B']) (2) pd.melt(df, id_vars=['A'], value_vars=['C']) (3) pd.melt(df, id_vars=['A'], value_vars=['B', 'C']) (4) 필드명 변경 pd.melt(df, id_vars = ['A'], value_vars = ['B'], var_name = 'v..

0. 플로우 차트 - 쿼리가 작성된 txt 를 읽어 해당 쿼리를 이용해 MySQL 에서 데이터를 가져온 뒤 pandas 의 DataFrame 형태로 출력 1. 텍스트 파일 내용 SELECT * FROM pbj_db.rownum_test; 2. 실습 1) library 호출 import pymysql import pandas as pd 2) db 연결 db = pymysql.connect(host='127.0.0.1', port=3306, user='root', db='pbj_db', charset='utf8', cursorclass=pymysql.cursors.DictCursor) cursor = db.cursor() 3) 파일 읽기 f = open("./sql.txt", 'r') sql = '' whi..

0. 목표 - 문서의 모든 행의 끝부분마다 문자 넣기 1. 데이터 준비 select a.userId FROM User AS A; 2. 코드 작성 - f 에서는 원본의 txt 파일을 가져온다. - f2 에서는 변환된 정보를 txt 파일로 기록한다. - readline 을 통하여 한 줄씩 읽어서 line에 담는다. - a 변수에는 line을 str의 형태로 담아준다. - aa 변수에는 \n 을 구분으로 나누어 개행을 기준으로 분류한다. - aaa 변수에는 개행을 제외한 문자와 새로 추가될 문자들을 더한 뒤 마지막에 \n 을 추가하여 개행을 한다. - f2 에 aaa를 담는다. f = open("./sql.txt", 'r') f2 = open('./sql2.txt', 'w') while True: line =..

0. 목표 - 자동화 Pie-Donut 차트 만들기 1. 기존의 Pie-Donut 차트 분석 - 기존 원본 링크 - 기존에는 숫자, 사이즈, 명암을 사람의 손으로 구해야 되어서 불편함이 많음 2. FlowChart 3. 실습 1) library 호출 - 차트에 한글을 넣기 위한 rc 호출(mac) import pandas as pd import random import numpy as np from matplotlib import rc rc('font', family='AppleGothic') 2) 데이터 생성 df = pd.DataFrame({'학년' : ['1학년', '2학년', '3학년', '1학년', '2학년', '1학년', '1학년'], '반' : ['1반', '2반', '3반', '4반', '..

0. 목표 - Python 의 Pandas 를 이용하여 SQL 스럽게 데이터 전처리 하기 1. 실습 1) SELECT (1) 필드 하나 df = pd.DataFrame({'a' : [1, 2, 3, 4, 1], 'b' : [2, 3, 4, 5, 6], 'c' : [2, 4, 6, 8, 6]}) df['a'] (2) 필드 여러개 df[['a', 'b']] (3) 행 인덱스로 접근 df.loc[0] 2) WHERE - a 가 3 이상 df[df['a'] >= 3] - a 가 3 이상이고 b 가 5 미만 a = ((df['a'] >= 3) & (df['b'] < 5)) df.loc[a] 3) CASE def case(x): if x < 2: return '2 미만' elif x < 4: return '4 미만..

0. 목표 - seaborn 을 이용한 heatmap 그리기 1. 이중 group by 확인 예제 1) library 호출 import pandas as pd 2) 데이터 생성 df = pd.DataFrame({'a' : [1, 2, 3, 4, 1], 'b' : [1, 1, 1, 1, 1], 'c' : [2, 3, 5, 10, 11]}) 3) 이중 group by 를 통한 숫자 세기 df.groupby(by=['a', 'b'], as_index=False).count() 2. seaborn 을 통한 heatmap 제작 1) library 호출 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sn..