목록유투브 댓글 크롤링 (4)

pbj0812의 코딩 일기

[자동화] Youtube API를 이용한 게시글 전체 댓글 크롤링

0. 목표 - 게시글에 있는 모든 댓글의 크롤링 1. 준비 1) 댓글 작업(102개 댓글 및 몇 개의 댓글에 대한 대댓글(3개) 작성, 총합 105개) * 내 유투브 영상에 댓글 작성 2) 구글 디벨로퍼 키(API KEY) 획득 - 링크 참조 2. 코드 작성 1) 라이브러리 호출 from googleapiclient.discovery import build from googleapiclient.errors import HttpError from oauth2client.tools import argparser 2) 파라미터 지정 DEVELOPER_KEY = "API KEY 입력" YOUTUBE_API_SERVICE_NAME="youtube" YOUTUBE_API_VERSION="v3" youtube = b..
빅데이터/자동화 2020. 7. 22. 00:39
[자동화] youtube api를 통한 youtube 게시글 댓글 크롤링

0. 목표 - youtube api를 통한 댓글 크롤링 1. 준비물 1) API 키 받기 - 참고 : pbj0812.tistory.com/259 [자동화] python을 이용한 유투브 라이브 채널의 정보 및 댓글 크롤링 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 pbj0812.tistory.com 2) OAuth 2.0 클라이언트 ID 받기 (1) + 사용자 인증 정보 만들기 -> OAuth 클라이언트 ID (2) 데스크톱 앱 -> 만들기 (3) 맨 오른쪽의 다운로드 버튼을 눌러 다운로드 3) library 설치 pip install..
빅데이터/자동화 2020. 6. 5. 00:41
[자동화] Python을 이용하여 유투브 댓글 크롤링(남의 소스 사용)

0. 목표 - egbertbouman님의 소스를 사용하여 유투브 댓글 크롤링 1. 설치 1) 링크 접속 2) 소스 다운로드 - clone or download -> download zip 클릭 - git 사용자라면 git clone https://github.com/egbertbouman/youtube-comment-downloader.git 으로 다운로드 3) 필요 라이브러리 설치 pip install requests pip install lxml pip install cssselect 2. 실행 1) 다운받은 폴더로 이동 2) youtube_id 획득 - www.youtube.com/watch?v=40WklavZYEs 라면 40WklavZYEs 가 youtube_id 3) 실행 - 40WklavZYE..
빅데이터/자동화 2020. 6. 2. 00:01
[자동화] python을 이용한 유투브 라이브 채널의 정보 및 댓글 크롤링

pytchat 이 업그레이드 됨에 따라 문서를 따라하여 만들었으니 혹시 라이브 크롤링이 안되시는 분은 링크 참고 부탁드리겠습니다. 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 형태 2. 문제 - 원하는 정보(실시간 시작일, 채널 명)가 태그 사이가 아닌 스크립트 안에 끼어져 있는 형태 3. 준비 1) library 설치 - pytchat : 실시간 댓글 크롤링 라이브러리 - youtube-dl : pafy 실행을 위해 필요 - pafy : 유투브 정보 긁어 오기 - pafy의 경우 특정 정보(스트리밍 시작일 등)를 얻기 위해서는 you..
빅데이터/자동화 2020. 5. 31. 21:43
Prev 1 Next