pbj0812의 코딩 일기

0. 목표 - python + crontab 으로 slack 에 메세지 보내기 1. 실습 1) slack webhook key 받기 (1) 슬랙 앱 (2) Incoming WebHooks 추가 (3) slack 에 추가 (4) 대상 채널 찾기 (5) URL 복사 2) python 코드 작성 import requests import datetime def webhook(text): url = "슬랙 URL" json = {'text' : text} requests.post(url, json = json) now = datetime.datetime.now() now = now.strftime("%m/%d/%Y, %H:%M:%S") print(now) webhook(now) 3) crontab 작성 - cro..

0. 목표 - Google Data Studio 그룹화로 컨트롤 따로하기 1. 실습 1) 데이터 추가 2) csv 추가 3) 컨트롤 및 차트 추가 4) 이때, 아무것도 지정해주지 않으면 양쪽의 컨트롤은 상호 작용하기에 불편함이 발생 - 현재 좌쪽에 Mar 로 진행해주었기에 우측에도 Mar 로만 지정 가능 5) 차트와 컨트롤을 묶어서 그룹화 진행 6) 따로 컨트롤 가능

- 해당 코드는 pytchat 0.5.5 공식 문서를 그대로 옮긴 것 임을 먼저 밝힙니다. 0. 목표 - pytchat 을 통한 유투브 라이브 댓글 크롤링 1. 실습 1) pytchat 설치 pip install pytchat * 이미 설치하신 분 들 중 버전이 낮아서 안되는 분들은 업그레이드 필요 pip install --upgrade pytchat==0.5.5 2) library 호출 import pytchat 3) video_id 구하기 - 구하고자 하는 유투브 라이브 방송의 url 중 v= 이후 문자(여기서는 2p-7_CSQ1eU 가 video_id) 4) 코드 실행 chat = pytchat.create(video_id="위에서 구한 video_id 입력") while chat.is_alive(..

0. 플로우 차트 1. 실습 1) zapier 에서 Zaps 클릭 2) Make a New Zap 3) Schedule 4) 주기 설정 => Continue 5) 주말 여부 확인 6) Test trigger 7) + 8) slack 선택하고 Send Channel Message 9) 사용할 슬랙 계정 확인 10) 구글 스프레드 시트를 열어 차트 하나 만듬 11) 차트 이름 클릭, 이미지 => 게시 이후 링크 복사 12) zapier 로 돌아와서 Attach Image By URL 에 붙여넣기 13) Continue 14) Test & Continue 2. 결과 3. 참고 - How to post a Google Sheets Chart as an Image to Slack (or any app)

0. 목표 - Grafana 그래프 색상 변경 1. 실습 1) 데이터 셋팅 및 그래프 생성(링크) 2) 색상 변경 - 범례의 색을 클릭하여 변경 * 범례의 글이 아닌 옆의 선분을 클릭 - 탭의 Y Axis 클릭시 plotyy의 형태로 나타남 2. 참고 - How to set the color of drawings (line or bar)

0. 목표 - Facebook 그래프 Api 탐색기를 통한 정보 추출 1. 실습 1) 페이스북 개발자 센터 접속(링크) - 우측의 내 앱 클릭 2) 기능 선택 3) 정보입력 4) 도구 -> 그래프 API 탐색기 5) 원하는 권한 추가 이후 Generate Access Token 클릭 - 인증 내용 나오면 진행 6) 원하는 정보(email) 입력하고 제출 7) 결과 8) 아래의 코드 받기를 누르면 해당 코드 제공 9) curl 테스트 2. 참고 - [Python 크롤링] 페이스북 페이지 크롤링 ( Graph API , JSON ) - 그래프 API 사용 - Facebook 크롤러

0. 목표 - Airflow BashOperator 사용하기 1. flow chart - python 으로 빈 csv 파일을 만들고 그 python 파일을 bash 가 돌리고 그 bash 파일을 Airflow 의 BashOperator 를 이용하여 구동 2. python 파일 생성(make_csv.py) - 해당 위치에 test.csv 라는 빈 csv 파일 생성 def result(): f = open("/Users/pbj0812/Desktop/test_code/test_airflow/test.csv", "w") f.close() if __name__ == "__main__": result() 3. bash 파일 생성(make_csv.sh) - 2. 의 make_csv.py 를 돌리도록 생성 python..

0. 목표 - Airflow 2.0 설치 & 사용자 계정 생성 1. Airflow 설치 & 실행 1) Airflow 설치 pip install apache-airflow 2) DB 초기화 airflow db init 3) airflow 실행 airflow webserver -p 8080 4) localhost:8080 - 이전버전에서는 볼 수 없던 로그인 창 생성 2. 유저 계정 생성 1) 계정 생성 - users create 라는 명령어를 사용하여 유저 생성 - 터미널에서 아래와 같은 방식으로 입력 - ROLE 에는 여러 종류가 있음(Admin, User, ...) airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname..

0. 목표 - airflow 에 airflow-code-editor plugin 설치 1. 설치 1) airflow 설치 pip install apache-airflow 2) airflow-code-editor 설치 pip install airflow-code-editor 3) 이외 라이브러리들 - 되는 버전을 알려주신 빅데이터 엔지니어 한용준 님께 감사의 인사를 드립니다. pip install marshmallow==2.19.5 pip install marshmallow-enum==1.5.1 pip install marshmallow-sqlalchemy==0.18.0 2. airflow 실행 1) 실행 airflow initdb airflow webserver -p 8080 2) 익스플로어에 local..

0. 목표 - google spreadsheet의 importrange 함수를 통한 스프레드시트 내용의 복사 1. 함수 사용 방법 - 메뉴얼 - IMPORTRANGE("시트주소", "범위") * importdata 함수의 경우 한 스프레드시트에서 최대 50개의 importdata 함수를 호출할 수 있었다고 하나, 새로운 버전에서는 한도가 삭제되었다고 함 2. 실습 1) 실습 데이터 생성 2) 새로운 시트 생성 - A1셀에 함수 적용 =importrange("https://docs.google.com/spreadsheets/d/시트url", "시트1!A:B") - 결과 * 주의사항 - 해당범위내에 문자 입력시 에러 발생 3. 참고 - 공식 메뉴얼