목록빅데이터/자동화 (26)

pbj0812의 코딩 일기

[자동화] Google Data Studio 대쉬보드 만들기

0. 목표 - Google Data Studio Tutorial 따라하기 1. 작업 0) Dataset 준비 - google sheet 준비(iris dataset) 1) 링크 접속(링크) - 빈 보고서 클릭 이후 진행 2) Google 스프레드시트 3) 해당 시트 클릭 4) 대쉬보드 꾸미기 2. 참고 - 가이드
빅데이터/자동화 2020. 4. 16. 23:13
[자동화] Airflow 예제

0. 목표 - 목표 위치에 1분마다 현재 시간을 기록한 파일 저장 1. Airflow 설치 pip install apache-airflow 2. 코드 작성 - 작성 위치 : ~/airflow/dags from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta dag = DAG('hello-airflow', description='Hell..
빅데이터/자동화 2020. 4. 8. 00:38
[Web] Firebase를 이용한 웹 사이트 만들기

0. 목표 - 장비 없이 Google Firebase를 통해 나만의 (조건부) 무료 웹사이트 만들기 1. Firebase 설정 1) Firebase 홈페이지 접속(링크) - 시작하기 - 프로젝트 추가 - 프로젝트 이름 정의 및 계속 - 계속 - 프로젝트 만들기 - 계속 - 클릭 - 앱 닉네임 설정 및 앱 등록 - 다음 계속 2) CLI 설정 (1) firebase 로컬에 설치 npm install -g firebase-tools (2) firebase 로그인 firebase login - 웹 창이 뜨면서 인증 화면 표출 - 결과 (3) 테스트 코드 작성(firebase_test/index.html) - 구성 현재 위치 ㄴ firebase_test - index.html - index.html - 상황에 ..
빅데이터/자동화 2020. 2. 17. 01:40
[자동화] crontab + mutt + python 으로 mysql 자료 메일 보내기

0. flow chart - python(pymysql, pandas) 을 통한 mysql 자료 파일화(.txt) - mutt를 통한 결과 파일 메일 전송 - crontab을 사용한 작업 자동화 1. 자료 준비 1) mutt 설치(in Mac) brew install mutt 2) DB 준비 - 링크 2. 자료 추출을 위한 python 파일 생성(db2csv.py) 1) library 호출 import pymysql import pandas as pd 2) DB 연결 함수 제작 def db_connector(): db = pymysql.connect(host='127.0.0.1', port=3306, user='***', passwd='***', db='pbj_db', charset='utf8') cur..
빅데이터/자동화 2020. 2. 10. 00:07
[자동화] 작업 스케줄러를 이용한 업무 자동화(for 윈도우즈 유저)

0. 목표 - 개발환경이 열악한 윈도우즈 환경에서의 자동화 1. flow chart 1) python으로 현재시간 확인 2) 1)의 결과를 구글 스프레드 시트에 자동으로 입력 3) 작업 스케줄러로 업무 자동화 실행 2. 예제 코드 제작(구글시트 연결 참고) 1) 라이브러리 호출 import gspread from oauth2client.service_account import ServiceAccountCredentials from datetime import datetime 2) 현재 시간 계산 time = str(datetime.now()) 3) 구글 스프레드시트 연결(구글시트 연결 참고) scope = ['https://spreadsheets.google.com/feeds'] json_file_nam..
빅데이터/자동화 2020. 1. 27. 00:38
[GS] Google Apps Script로 Google Spread Sheet 조작하기

0. Google Apps Script 소개 - 링크 - 자바 스크립트 형식으로 이루어져 있으며, 구글 내의 서비스(구글 칼렌더, 구글 문서, 구글 드라이브, 구글 슬라이드, 구글 스프레드 시트)를 관리 가능 - mysql 의 데이터를 가져올수도 있으며, API 생성도 가능 1. 테스트 1) 빈 스프레드 시트 생성 2) 도구 -> 스크립트 편집기 3) 스크립트 기본 형태 4) 코드 입력 function Hello() { ss = SpreadsheetApp.getActiveSheet(); r = ss.getRange('a1'); r.setValue('gs_test'); Logger.log(ss.getName()); Logger.log(r.getValue()); } (1) 활성화 시트 지정 (2) 'a1' ..
빅데이터/자동화 2020. 1. 19. 23:29
Prev 1 2 3 Next