pbj0812의 코딩 일기

0. 목표 - papermil을 통한 jupyter notebook 실행 - 최종구조로는 반복 실행을 지원하는 crontab이나 airflow 내에서 python 혹은 ipynb(papermil 실행용) 파일을 돌려 반복 실행하고자 하는 ipynb 파일을 돌리는 구조 1. 실습 0) papermil 설치 pip install papermill 1) hello-papermil.ipynb (1) 내용 작성 (2) View -> Cell Toolbar -> Tags - 셀 위에 뭔가를 쓸 수 있는 창 생성 (3) 바꾸고 싶은 변수가 속한 셀에 parameters라고 쓰고 엔터(Add tag) 2) run_papermil.py (1) 코드 작성 - 위에서 작성한 hello-papermill.ipynb의 para..

0. 목표 - python reduce 학습 1. 실습 1) 문제1 : 아래 리스트 내부에 존재하는 숫자들을 전부 합하여라. test = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] (1) 방법1 : for 문을 통한 해결 - 결과 : 55 result = 0 for i in test: result = result + i print(result) (2) 방법2 : reduce 사용 - 내장함수가 아니기에 호출 필요 - 결과 : 55 * 사용방법 : reduce(함수, 리스트, 초기값(생략가능)) from functools import reduce result = reduce((lambda x, y : x + y), test) print(result) 2) 문제2 : 아래 dict의 age의 ..

0. 목표 - python filter 사용 1. 실습 - 문제 : 아래 리스트에서 음수만 따로 저장하는 리스트를 생성 number_list = [-1, -2, -5, 2, 5, 7] 1) for를 통한 해결 minus_list = [] for i in number_list: if i < 0: minus_list.append(i) else: pass print(minus_list) - 결과 [-1, -2, -5] 2) filter 사용 minus_list = list(filter(lambda x: x

0. 목표 - map 사용하기 1. 실습 - 문제 : 아래 list 에 속한 숫자들을 정수 형태로 만들고 싶음 a = [1.1, 2.2, 3.3, 4.4, 5.5, 6.6, 7.7] 1) int 바로 사용 - int 로 list를 묶으면? 에러 발생! 2) 다른 list 변수를 만들어 저장 - 귀찮음 b = [] for i in a: b.append(int(i)) print(b) - 결과 [1, 2, 3, 4, 5, 6, 7] 3) map 사용 - map(적용 함수, 적용 변수) c = list(map(int, a)) print(c) - 결과 [1, 2, 3, 4, 5, 6, 7] 2. 참고 - 리스트에 map 사용하기

0. 목표 - egbertbouman님의 소스를 사용하여 유투브 댓글 크롤링 1. 설치 1) 링크 접속 2) 소스 다운로드 - clone or download -> download zip 클릭 - git 사용자라면 git clone https://github.com/egbertbouman/youtube-comment-downloader.git 으로 다운로드 3) 필요 라이브러리 설치 pip install requests pip install lxml pip install cssselect 2. 실행 1) 다운받은 폴더로 이동 2) youtube_id 획득 - www.youtube.com/watch?v=40WklavZYEs 라면 40WklavZYEs 가 youtube_id 3) 실행 - 40WklavZYE..

0. 목표 - python의 pdb library를 사용하여 디버깅 실습 1. 실습 1) 예제 코드 작성 - test 함수 : inp1, inp2를 받아 inp1 + inp2를 출력 - 반복문 안에 함수를 끼워놓은 형태 import pdb def test(inp1, inp2): return inp1 + inp2 for i in range(10): print(i) result = test(1, 1) pdb.set_trace() 2) 실행 3) 옵션 실험 (1) l - 소스코드 출력 및 현재 라인이 화살표로 표시 (2) n - 다음 줄로 이동 (3) c - 다음 중단점 만날때까지 실행 (4) s - 함수 내부로 들어감 - n을 계속 눌러 def test(inp1, inp2) 가 있는 곳까지 왔으며 여기서 s..

pytchat 이 업그레이드 됨에 따라 문서를 따라하여 만들었으니 혹시 라이브 크롤링이 안되시는 분은 링크 참고 부탁드리겠습니다. 0. 목표 - python을 이용하여 아래 라이브 채널의 댓글 및 채널의 정보 획득 1. flow chart - 유투브 라이브 채널을 파이썬을 이용하여 정보 및 실시간 댓글을 모으고 실시간으로 csv 파일로 저장하는 형태 2. 문제 - 원하는 정보(실시간 시작일, 채널 명)가 태그 사이가 아닌 스크립트 안에 끼어져 있는 형태 3. 준비 1) library 설치 - pytchat : 실시간 댓글 크롤링 라이브러리 - youtube-dl : pafy 실행을 위해 필요 - pafy : 유투브 정보 긁어 오기 - pafy의 경우 특정 정보(스트리밍 시작일 등)를 얻기 위해서는 you..

0. 목표 - python 비동기 처리 실습 1. 실습 - jupyter notebook 대신 python 사용 필요 * jupyter notebook에서 하기 위해서는 링크 참고 - python은 3.5 이상 버전 필요 1) 동기 처리 (1) 코드 작성 - 컴퓨터 끄는 알바를 하는데 한 대가 종료되기 까지 5초가 걸리고, 컴퓨터가 종료된 이후에 다음 컴퓨터를 종료시키는 형태 import time def off_the_computer(n): print(n,'번 째 컴퓨터 종료 시작') time.sleep(5) print(n,'번 째 컴퓨터 종료 완료') def start_alba(): start = time.time() off_the_computer(1) off_the_computer(2) off_the..

0. 목표 - yield의 사용법을 알아보고 for 와의 차이점을 파악 1. 실습 1) for 실습 (1) 함수 생성 def for_generator(): for i in range(5): return i (2) 확인 a = for_generator() print(a) - 결과 0 2) yield 실습 (1) 함수 생성 def yield_generator(): for i in range(5): yield i (2) 확인 a = yield_generator() print(a) - 결과(제너레이터가 생성됨) (3) 제너레이터 사용 for i in a: print(i) - 결과 * a 같은 인스턴스를 생성해서 사용할 경우 한번 사용하면 사용하지 못함(같은 코드를 한번 더 실행하면 아무것도 출력되지 않음) * ..

0. 목표 - class 상속을 통해 공학용 계산기 제작 1. 실습 1) 일반 계산기 제작 class calculator: def add(self, inp1, inp2): print(inp1 + inp2) def sub(self, inp1, inp2): print(inp1 - inp2) def mul(self, inp1, inp2): print(inp1 * inp2) def div(self, inp1, inp2): print(inp1 / inp2) 2) 인스턴스 생성 cal = calculator() 3) 확인 cal.add(1, 2) cal.sub(1, 2) cal.mul(2, 3) cal.div(4, 2) - 결과 3 -1 6 2.0 4) 공학용 계산기 제작 - 계산기 기능 상속 - 제곱 기능 추가 ..