pbj0812의 코딩 일기

0. 목표 - 구글 스프레드 시트 데이터를 mysql 에 저장하기 1. 사전준비 1) google api 를 통한 python 과 google spreadsheet 연동 * 링크 참조 2) mysql 테이블 생성 - ADD UNIQUE 를 하는 이유는 나중에 UPSERT 를 하기 위함 CREATE TABLE pbj_db.spreadsheet_test ( datetime datetime, result int ) ENGINE = INNODB; ALTER TABLE pbj_db.spreadsheet_test ADD UNIQUE (`datetime`); 3) 구글시트 더미 데이터 준비 2. 실습 1) library 호출 import gspread from oauth2client.service_account im..

0. 플로우 차트 - 쿼리가 작성된 txt 를 읽어 해당 쿼리를 이용해 MySQL 에서 데이터를 가져온 뒤 pandas 의 DataFrame 형태로 출력 1. 텍스트 파일 내용 SELECT * FROM pbj_db.rownum_test; 2. 실습 1) library 호출 import pymysql import pandas as pd 2) db 연결 db = pymysql.connect(host='127.0.0.1', port=3306, user='root', db='pbj_db', charset='utf8', cursorclass=pymysql.cursors.DictCursor) cursor = db.cursor() 3) 파일 읽기 f = open("./sql.txt", 'r') sql = '' whi..

0. flow chart - python(pymysql, pandas) 을 통한 mysql 자료 파일화(.txt) - mutt를 통한 결과 파일 메일 전송 - crontab을 사용한 작업 자동화 1. 자료 준비 1) mutt 설치(in Mac) brew install mutt 2) DB 준비 - 링크 2. 자료 추출을 위한 python 파일 생성(db2csv.py) 1) library 호출 import pymysql import pandas as pd 2) DB 연결 함수 제작 def db_connector(): db = pymysql.connect(host='127.0.0.1', port=3306, user='***', passwd='***', db='pbj_db', charset='utf8') cur..

1. 데이터 준비(MySQL) - MySQL 설치 1) DB 생성 CREATE DATABASE pbj_db default CHARACTER SET UTF8; 2) 생성 DB 확인 SHOW DATABASES; 3) 테이블 생성 - id는 PK - name, score 생성 CREATE TABLE pbj_db.Score ( id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(32) NOT NULL, score INT NOT NULL ) ENGINE = INNODB; 4) 생성 테이블 확인 DESCRIBE pbj_db.Score; 5) 데이터 삽입 INSERT INTO pbj_db.Score (name, score) VALUES('pbj', 100); INSERT INTO p..