일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 파이썬 시각화
- 월간결산
- Linux
- python visualization
- 텐서플로
- 매틀랩
- Tistory
- Blog
- 한빛미디어서평단
- Visualization
- 시각화
- 블로그
- Pandas
- MATLAB
- 독후감
- Python
- 한빛미디어
- 파이썬
- Google Analytics
- 티스토리
- MySQL
- 서평
- 딥러닝
- tensorflow
- matplotlib
- SQL
- 서평단
- 통계학
- 리눅스
- Ga
- Today
- Total
목록크롤러 (3)
pbj0812의 코딩 일기
0. 목표 - 유투브 동영상 URL 추출 - selenium은 너무 느림 1. 실습 1) library 호출 import requests import pandas as pd from bs4 import BeautifulSoup 2) URL 추출 keyword = '미르방' req = requests.get('https://www.youtube.com/results?search_query=' + keyword) html = req.text soup = BeautifulSoup(html, 'html.parser') my_titles = soup.select( 'h3 > a' ) title = [] url = [] for idx in my_titles: title.append(idx.text) url.appe..
0. Flow Chart 1) 사용자가 원하는 키워드를 입력하고 검색 버튼 클릭 2) python을 사용해서 twitter에서 연관 키워드 글 추출 3) pandas를 사용해서 xlsx 형식으로 제공 1. 준비물 1) 트위터 앱 생성(링크) - Create an app을 눌러 생성 - Details 클릭 이후 Keys and tokens의 아래 키들 확인(보관 주의) 2) 필요 라이브러리 설치 pip install PyQt5 pip install pyinstaller pip install tweepy 2. 코드 1) library 호출 import sys from PyQt5.QtWidgets import * import tweepy import pandas as pd from pandas import E..
0. 목표 - 회사 홈페이지의 하트표의 숫자값을 가져와서 구글 스프레드 시트에 넣음 - beautifulsoup만으로는 값을 뽑아낼 수 없어 selenium 적용 1. 필요 준비물 1) 라이브러리 설치 pip install beautifulsoup4 pip install selenium 2) 크롬 설치 - 링크 3) 크롬 드라이버 설치 - 링크 * 버전은 크롬의 버전에 맞게 다운로드 한다. - 크롬 버전 확인 - 주소창에 chrome://version/ 2. 코드 작성 1) 라이브러리 불러오기 from selenium import webdriver from bs4 import BeautifulSoup 2) 크롬 드라이버 경로 설정 driver = webdriver.Chrome('/Users/pbj0812..