pbj0812의 코딩 일기

0. 목표 - youtube api를 통한 댓글 크롤링 1. 준비물 1) API 키 받기 - 참고 : pbj0812.tistory.com/259 [자동화] python을 이용한 유투브 라이브 채널의 정보 및 댓글 크롤링 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 pbj0812.tistory.com 2) OAuth 2.0 클라이언트 ID 받기 (1) + 사용자 인증 정보 만들기 -> OAuth 클라이언트 ID (2) 데스크톱 앱 -> 만들기 (3) 맨 오른쪽의 다운로드 버튼을 눌러 다운로드 3) library 설치 pip install..

0. 목표 - papermil을 통한 jupyter notebook 실행 - 최종구조로는 반복 실행을 지원하는 crontab이나 airflow 내에서 python 혹은 ipynb(papermil 실행용) 파일을 돌려 반복 실행하고자 하는 ipynb 파일을 돌리는 구조 1. 실습 0) papermil 설치 pip install papermill 1) hello-papermil.ipynb (1) 내용 작성 (2) View -> Cell Toolbar -> Tags - 셀 위에 뭔가를 쓸 수 있는 창 생성 (3) 바꾸고 싶은 변수가 속한 셀에 parameters라고 쓰고 엔터(Add tag) 2) run_papermil.py (1) 코드 작성 - 위에서 작성한 hello-papermill.ipynb의 para..

0. 목표 - egbertbouman님의 소스를 사용하여 유투브 댓글 크롤링 1. 설치 1) 링크 접속 2) 소스 다운로드 - clone or download -> download zip 클릭 - git 사용자라면 git clone https://github.com/egbertbouman/youtube-comment-downloader.git 으로 다운로드 3) 필요 라이브러리 설치 pip install requests pip install lxml pip install cssselect 2. 실행 1) 다운받은 폴더로 이동 2) youtube_id 획득 - www.youtube.com/watch?v=40WklavZYEs 라면 40WklavZYEs 가 youtube_id 3) 실행 - 40WklavZYE..

pytchat 이 업그레이드 됨에 따라 문서를 따라하여 만들었으니 혹시 라이브 크롤링이 안되시는 분은 링크 참고 부탁드리겠습니다. 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 형태 2. 문제 - 원하는 정보(실시간 시작일, 채널 명)가 태그 사이가 아닌 스크립트 안에 끼어져 있는 형태 3. 준비 1) library 설치 - pytchat : 실시간 댓글 크롤링 라이브러리 - youtube-dl : pafy 실행을 위해 필요 - pafy : 유투브 정보 긁어 오기 - pafy의 경우 특정 정보(스트리밍 시작일 등)를 얻기 위해서는 you..

0. 목표 - 유투브 동영상 URL 추출 - selenium은 너무 느림 1. 실습 1) library 호출 import requests import pandas as pd from bs4 import BeautifulSoup 2) URL 추출 keyword = '미르방' req = requests.get('https://www.youtube.com/results?search_query=' + keyword) html = req.text soup = BeautifulSoup(html, 'html.parser') my_titles = soup.select( 'h3 > a' ) title = [] url = [] for idx in my_titles: title.append(idx.text) url.appe..

0. 목표 - GA 유입경로 설정 1. 실습 1) 링크의 실습을 통해 1. 5) 까지 따라하기 2) 유입경로를 해제에서 설정으로 변경 - 필수 여부를 설정해서 단계별 이탈 등을 확실하게 볼 수 있음 2. 확인 - 홈 -> 전환 -> 목표 -> 유입경로 시각화 3. 참고 - 한번에 끝내는 디지털 마케팅 전 과정(edwith)

0. 목표 - GA에서 목표 설정 1. 실습 1) 좌측 하단의 관리 -> 보기 -> 목표 2) 새 목표 클릭 3) 하단의 맞춤설정 -> 계속 4) 이름 작성 -> 유형 선택 -> 계속 5) 최종 목표 설정 -> 저장 - 최종 목표는 같음, 시작값, 정규식 중에 맞는 것을 골라 클릭 - 값에는 해당 목표의 달성으로 인해 얻어지는 가치를 지정(이곳에 방문하면 100원 정도의 효과가 있다...) - 유입경로에는 해당 최종 목표로 가기 위한 경로 지정 6) 결과 2. 확인 - 메인 페이지 3. 주의사항 - 보기당 목표는 20개 - 삭제는 없음 4. 참고 - 한번에 끝내는 디지털 마케팅 전 과정(edwith)

- 원본 : www.edwith.org/boostcourse-digitalmarketing/lecture/31974/ 추적코드 (GATC) : 구글 애널리틱스를 사용해 방문 데이터를 수집하고 리포틀하기 위해 웹사이트의 페이지마다 붙여넣어야 하는 자바스크립트 코드. ‘페이지 태그’라고도 한다. 리퍼러 (referrer) : 방문자가 사이트로 유입되는 특정 HTML 페이지의 URL. 즉, 방문자가 웹사이트로 유입될 때 클릭한 외부 페이지 매체 (Medium) : 캠페인 추적 시 매체는 사이트 방문자가 해당 사이트의 링크를 수신하는 방법을 나타낸다. 웹사이트의 유저를 획득하는 방법. 목표전환 (Goal Conversion) : ‘목표’나 ‘전환’으로 부르기도 한다. 가치있는 액션, 예를 들면, 구매 확정 페이..

0. 목표 - Big Query 튜토리얼 1. 실습 1) 링크 접속 - Exploring Your Ecommerce Dataset with SQL in Google BigQuery 클릭 - 이후 좌측의 Start Lab 버튼 클릭 2) 실습환경 로그인 - Open Google Console 클릭 - id, pwd에 Open Google Console 아래에 있는 id, pwd 이용 3) 좌측 목록 중에서 BigQuery 클릭 4) BigQuery 환경 5) API 사용하기 - 링크에서 사용 클릭 - dataset을 사용하기 위해서 필요 6) dataset 부르기 - 링크를 클릭하면 생성(data-to-insights) 7) 데이터 확인 - data-to-insights -> ecommerce -> all..

0. 목표 - 내 블로그(티스토리)에 GA 연동하기 1. 실습 1) GA 접속(링크) - 왼쪽 아래의 관리 클릭 2) 계정 만들기 클릭 3) 계정 이름 작성 및 하단의 다음 4) 웹 -> 다음 5) 내 블로그 정보 입력 -> 만들기 6) 동의 7) ID 확인 8) 내 블로그 관리 -> 플러그인 -> GA 검색 9) 7)에서 얻은 추적 ID 삽입 및 적용 10) 사용중 확인 2. 테스트 1) 내 블로그 글(236)에 접속 2) GA 확인 - 인기페이지 236 확인 3. 참고 - 너구리의 데이터랩