pbj0812의 코딩 일기

0. 목표 - Youtube API를 활용한 검색 결과(게시글 정보) 크롤링 1. 실습 1) API 키 확인 - API 키 받기(링크) - API 키 복사(시뻘건 부분 복사) 2) 코드 작성 (1) library 호출 from googleapiclient.discovery import build from googleapiclient.errors import HttpError from oauth2client.tools import argparser (2) 파라미터 작성 DEVELOPER_KEY = "복사한 API KEY 입력" YOUTUBE_API_SERVICE_NAME="youtube" YOUTUBE_API_VERSION="v3" youtube = build(YOUTUBE_API_SERVICE_NAME,..

0. 목표 - youtube api를 통한 댓글 크롤링 1. 준비물 1) API 키 받기 - 참고 : pbj0812.tistory.com/259 [자동화] python을 이용한 유투브 라이브 채널의 정보 및 댓글 크롤링 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 pbj0812.tistory.com 2) OAuth 2.0 클라이언트 ID 받기 (1) + 사용자 인증 정보 만들기 -> OAuth 클라이언트 ID (2) 데스크톱 앱 -> 만들기 (3) 맨 오른쪽의 다운로드 버튼을 눌러 다운로드 3) library 설치 pip install..

pytchat 이 업그레이드 됨에 따라 문서를 따라하여 만들었으니 혹시 라이브 크롤링이 안되시는 분은 링크 참고 부탁드리겠습니다. 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 형태 2. 문제 - 원하는 정보(실시간 시작일, 채널 명)가 태그 사이가 아닌 스크립트 안에 끼어져 있는 형태 3. 준비 1) library 설치 - pytchat : 실시간 댓글 크롤링 라이브러리 - youtube-dl : pafy 실행을 위해 필요 - pafy : 유투브 정보 긁어 오기 - pafy의 경우 특정 정보(스트리밍 시작일 등)를 얻기 위해서는 you..

0. 목표 - 유투브 동영상 URL 추출 - selenium은 너무 느림 1. 실습 1) library 호출 import requests import pandas as pd from bs4 import BeautifulSoup 2) URL 추출 keyword = '미르방' req = requests.get('https://www.youtube.com/results?search_query=' + keyword) html = req.text soup = BeautifulSoup(html, 'html.parser') my_titles = soup.select( 'h3 > a' ) title = [] url = [] for idx in my_titles: title.append(idx.text) url.appe..