pbj0812의 코딩 일기

0. 목표 - pandas 를 이용한 데이트 포맷 변경 1. 실습 1) library 호출 import pandas as pd 2) 데이터프레임 생성 df = pd.DataFrame({'id' : [1, 2, 3, 4, 5], 'date' : ['2021-01-01 11:11:11', '2021-02-01 11:11:11', '2021-01-03 11:11:11', '2021-04-10 11:11:11', '2021-05-01 11:11:11']}) 3) 데이터 타입 확인 df.dtypes 4) datetime 형식으로 변경 df['date2'] = pd.to_datetime(df['date'], infer_datetime_format=True) 5) 타입 확인 df.dtypes 6) YYYY-MM-DD..

0. 목표 - transform 을 사용한 데이터 변환 1. 실습 1) library 호출 import pandas as pd 2) 데이터 프레임 생성 df = pd.DataFrame({'a' : [1, 2, 3, 1, 2, 3], 'b' : [4, 5, 6, 4, 5, 7]}) 3) 모든 데이터에 1 씩 더하기 df2 = df.transform(lambda x : x + 1) 4) 데이터 프레임 옆에 groupby 결과를 넣고 싶을 때 (1) groupby 만 사용해보기 - groupby 결과가 index 별 숫자이기에 딸려 들어간 형태 - a 로 그룹화할 때 b의 합은 2 : 10, 3 : 12, 4 : 15 이기에 인덱스 찾아감 df2['c'] = df2.groupby(by = ['a'])['b']..

1. 월간 방문자 수 2. 주간 방문자 수 3. 인기 페이지 4. 검색어 5. 인구 통계

1. 목표 - 연속 두 달간 해당 서비스를 이용한 회원 구하기 2. 실습 1) 테이블 생성 CREATE TABLE sql_test.lead_test ( IndexId int, id int, Date datetime ); 2) 데이터 삽입 INSERT INTO sql_test.lead_test(IndexId, id, Date) VALUES(1, 1, '2021-01-01'); INSERT INTO sql_test.lead_test(IndexId, id, Date) VALUES(2, 2, '2021-02-02'); INSERT INTO sql_test.lead_test(IndexId, id, Date) VALUES(3, 2, '2021-02-03'); INSERT INTO sql_test.lead_test(..

0. 목표 - pandas 로 UNION 구현하기 1. 실습 1) library 호출 import pandas as pd 2) 데이터 프레임 생성 a = pd.DataFrame({'a' : [1, 1, 2, 3, 4], 'b' : [1, 2, 3, 4, 5]}) b = pd.DataFrame({'a' : [1, 2, 3, 4, 5], 'b' : [1, 3, 5, 5, 9]}) 3) 데이터 프레임 결합 c = pd.concat([a, b]) 4) 중복 제거 - inplace 옵션을 통한 변수에 바로 저장 c.drop_duplicates(inplace = True) 5) index 초기화 - inplace 옵션을 통한 변수에 바로 저장 c.reset_index(drop = True, inplace = Tru..

"한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 0. 도서 정보 1) 독서명 : 데이터가 뛰어노는 AI 놀이터, 캐글 2) 작가 : 가도와키, 다이스케, 사카타 류지, 호사카 게이스케, 히라마쓰 유지 3) 링크 1. 서평 - 책 표지에 쓰여 있듯이 상위 랭킹 진입을 위해서는 읽어봐야 할 서적이다. 작가들이 알고 있는 캐글의 여러 스킬(?) 을 책 한 권에 몰아넣은 느낌이다. 자투리 코드도 곁들여서 해당 스킬을 어떻게 코드로 구현하는지도 작성하였다. 하지만, 너무 많은 정보를 넣은 탓에 이런 코드가 없는 부분도 꽤 존재한다. 그렇기에 데이터 분석 초보자가 보기에는 어려운 부분이 많다. 대회 하나 정도는 예제로 하여 실제 캐글 대회 코드가 어떻게 구성되었는지, 왜 이런 것을 사용하였는지 보여주..

0. 목표 - displot, histplot 크기 조정하기 1. 실습 1) library 호출 - figure size 미리 조정 * seaborn version update 필요 : pip install seaborn==0.11.1 import matplotlib.pyplot as plt import seaborn as sns sns.set(rc={'figure.figsize':(15, 5)}) import pandas as pd 2) iris 데이터셋 로드 df = sns.load_dataset('iris') 3) distplot - 없어질거라고 한다. sns.distplot(df['sepal_length']) 4) histplot - 크기가 잘 맞춰 나온다. sns.histplot(df['sepa..

0. 목표 - 2회 방문과 3회 째 방문의 시간 차이 1. 실습 1) 테이블 제작 SELECT id, Date, ROW_NUMBER() OVER(PARTITION BY id ORDER BY Date) AS rnum FROM sql_test.with_test 2) 데이터 삽입 INSERT INTO sql_test.with_test(IndexId, id, Date) VALUES(1, 1, '2021-01-01'); INSERT INTO sql_test.with_test(IndexId, id, Date) VALUES(2, 2, '2021-01-02'); INSERT INTO sql_test.with_test(IndexId, id, Date) VALUES(3, 2, '2021-01-03'); INSERT INT..

0. 목표 - subplots 를 이용한 y 축이 두 개인 그래프(plotyy) 그리기 1. 실습 1) matplotlib 으로 그리기 (1) library 호출 import matplotlib.pyplot as plt (2) 데이터 생성 x1 = [1, 2, 3, 4, 5] y1 = [1, 2, 3, 4, 5] x2 = [1, 2, 3, 4, 5] y2 = [1, 10, 50, 100, 200] (3) subplots 생성 fig, axe1 = plt.subplots() (4) ax 복사 axe2 = axe1.twinx() (5) 그래프 그리기 c1 = axe1.plot(x1, y1, color = 'r') c2 = axe2.plot(x2, y2, color = 'b') axe1.set_ylabel('..

0. 플로우 차트 1. 실습 1) zapier 에서 Zaps 클릭 2) Make a New Zap 3) Schedule 4) 주기 설정 => Continue 5) 주말 여부 확인 6) Test trigger 7) + 8) slack 선택하고 Send Channel Message 9) 사용할 슬랙 계정 확인 10) 구글 스프레드 시트를 열어 차트 하나 만듬 11) 차트 이름 클릭, 이미지 => 게시 이후 링크 복사 12) zapier 로 돌아와서 Attach Image By URL 에 붙여넣기 13) Continue 14) Test & Continue 2. 결과 3. 참고 - How to post a Google Sheets Chart as an Image to Slack (or any app)