pbj0812의 코딩 일기

0. 목표 - 게시글에 있는 모든 댓글의 크롤링 1. 준비 1) 댓글 작업(102개 댓글 및 몇 개의 댓글에 대한 대댓글(3개) 작성, 총합 105개) * 내 유투브 영상에 댓글 작성 2) 구글 디벨로퍼 키(API KEY) 획득 - 링크 참조 2. 코드 작성 1) 라이브러리 호출 from googleapiclient.discovery import build from googleapiclient.errors import HttpError from oauth2client.tools import argparser 2) 파라미터 지정 DEVELOPER_KEY = "API KEY 입력" YOUTUBE_API_SERVICE_NAME="youtube" YOUTUBE_API_VERSION="v3" youtube = b..

0. 목표 - Youtube API를 활용한 검색 결과(게시글 정보) 크롤링 1. 실습 1) API 키 확인 - API 키 받기(링크) - API 키 복사(시뻘건 부분 복사) 2) 코드 작성 (1) library 호출 from googleapiclient.discovery import build from googleapiclient.errors import HttpError from oauth2client.tools import argparser (2) 파라미터 작성 DEVELOPER_KEY = "복사한 API KEY 입력" YOUTUBE_API_SERVICE_NAME="youtube" YOUTUBE_API_VERSION="v3" youtube = build(YOUTUBE_API_SERVICE_NAME,..

0. Flow Chart 1. 실습 1) 시트 준비 2) 캘린더 ID 확인 (1) 구글 캘린더 -> 좌측 -> 점 세개 -> 설정 및 공유 (2) 아래쪽의 캘린더 ID 확인 3) Google Apps Script 작성 (1) 스크립트 들어가기 (2) 코드 - 위에서 얻은 캘린더 ID로 수정필요 function scheduleShifts() { var spreadsheet = SpreadsheetApp.getActiveSheet(); var eventCal = CalendarApp.getCalendarById('pbj00812@gmail.com'); var signups = spreadsheet.getRange('A4:D6').getValues(); for (x=0; x

0. 목표 - Grafana에 MySQL을 연동하여 Grafana 에서 MySQL 정보 모니터링 1. 실습 1) 실험 데이터 생성 (1) MySQL 기본 설치 : 링크 참조 (2) 테이블 생성(workbench 사용) - 날짜에 따른 점수 CREATE TABLE pbj_db.time_test(date date, score INT NOT NULL) ENGINE = INNODB; (3) 데이터 삽입 INSERT INTO pbj_db.time_test(date, score) VALUES ("2020-06-09", 100); INSERT INTO pbj_db.time_test(date, score) VALUES ("2020-06-10", 150); INSERT INTO pbj_db.time_test(date, ..

0. 목표 - Mac OS에 Grafana 설치 1. 설치 1) 링크 접속 2) brew를 통한 설치 brew update brew install grafana 3) 실행 brew services start grafana 4) 3000번 접근 5) id / pwd 입력 - admin / admin - 로그인하면 비번 바꾸라고 나옴 2. 참고 - Grafana tutorial - Grafana install - 오픈소스 시각화 툴 Grafana 설치하기

0. 목표 - youtube api를 통한 댓글 크롤링 1. 준비물 1) API 키 받기 - 참고 : pbj0812.tistory.com/259 [자동화] python을 이용한 유투브 라이브 채널의 정보 및 댓글 크롤링 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 pbj0812.tistory.com 2) OAuth 2.0 클라이언트 ID 받기 (1) + 사용자 인증 정보 만들기 -> OAuth 클라이언트 ID (2) 데스크톱 앱 -> 만들기 (3) 맨 오른쪽의 다운로드 버튼을 눌러 다운로드 3) library 설치 pip install..

0. 목표 - papermil을 통한 jupyter notebook 실행 - 최종구조로는 반복 실행을 지원하는 crontab이나 airflow 내에서 python 혹은 ipynb(papermil 실행용) 파일을 돌려 반복 실행하고자 하는 ipynb 파일을 돌리는 구조 1. 실습 0) papermil 설치 pip install papermill 1) hello-papermil.ipynb (1) 내용 작성 (2) View -> Cell Toolbar -> Tags - 셀 위에 뭔가를 쓸 수 있는 창 생성 (3) 바꾸고 싶은 변수가 속한 셀에 parameters라고 쓰고 엔터(Add tag) 2) run_papermil.py (1) 코드 작성 - 위에서 작성한 hello-papermill.ipynb의 para..

0. 목표 - egbertbouman님의 소스를 사용하여 유투브 댓글 크롤링 1. 설치 1) 링크 접속 2) 소스 다운로드 - clone or download -> download zip 클릭 - git 사용자라면 git clone https://github.com/egbertbouman/youtube-comment-downloader.git 으로 다운로드 3) 필요 라이브러리 설치 pip install requests pip install lxml pip install cssselect 2. 실행 1) 다운받은 폴더로 이동 2) youtube_id 획득 - www.youtube.com/watch?v=40WklavZYEs 라면 40WklavZYEs 가 youtube_id 3) 실행 - 40WklavZYE..

pytchat 이 업그레이드 됨에 따라 문서를 따라하여 만들었으니 혹시 라이브 크롤링이 안되시는 분은 링크 참고 부탁드리겠습니다. 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 형태 2. 문제 - 원하는 정보(실시간 시작일, 채널 명)가 태그 사이가 아닌 스크립트 안에 끼어져 있는 형태 3. 준비 1) library 설치 - pytchat : 실시간 댓글 크롤링 라이브러리 - youtube-dl : pafy 실행을 위해 필요 - pafy : 유투브 정보 긁어 오기 - pafy의 경우 특정 정보(스트리밍 시작일 등)를 얻기 위해서는 you..

0. 목표 - 유투브 동영상 URL 추출 - selenium은 너무 느림 1. 실습 1) library 호출 import requests import pandas as pd from bs4 import BeautifulSoup 2) URL 추출 keyword = '미르방' req = requests.get('https://www.youtube.com/results?search_query=' + keyword) html = req.text soup = BeautifulSoup(html, 'html.parser') my_titles = soup.select( 'h3 > a' ) title = [] url = [] for idx in my_titles: title.append(idx.text) url.appe..