일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 티스토리
- 리눅스
- 서평
- Visualization
- 파이썬 시각화
- 한빛미디어
- 독후감
- Linux
- 한빛미디어서평단
- Python
- Google Analytics
- python visualization
- Pandas
- MATLAB
- Tistory
- 매틀랩
- Ga
- 통계학
- matplotlib
- tensorflow
- 블로그
- 파이썬
- SQL
- 시각화
- Blog
- 텐서플로
- 월간결산
- MySQL
- 딥러닝
- 서평단
- Today
- Total
목록빅데이터 (65)
pbj0812의 코딩 일기
0. 실습 1) 설치 - MySQL 기반으로... pip3 install dbt pip3 install dbt-mysql 2) 프로젝트 시작 - 아래 작업을 해야 profiles.yml 파일이 생성됨. dbt init my_project - 동시에 폴더들도 생성됨 3) yml 파일 수정 vi ~/.dbt/profiles.yml my_project: target: dev outputs: dev: type: mysql server: 127.0.0.1 port: 3306 database: sql_study # optional, should be same as schema schema: dbt_test username: root password: driver: MySQL ODBC 8.0 ANSI Driver p..
0. 접속 - bigquery console 검색해서 들어가거나... - 링크 클릭 1. 클릭 - 콘솔로 이동 클릭(처음 이라면 무료로 이용해보기 클릭해서 카드 정보 넣어야 함, 카드 정보 넣어도 돈은 나가지 않음.) 2. 화면 - 좌측에 보이는 것들이 테이블 관련 모음으로 프로젝트 > 데이터 세트 > 테이블의 구조로 이루어져 있으며, 가운데 부분이 쿼리를 칠 수 있는 부분 3. 데이터 세트 만들기1 - 점 세개 찍힌 버튼(케밥 버튼) 클릭하여 데이터 세트 만들기 클릭(사진에서는 data-to-insights 버튼을 클릭했는데, 추가 권한이 없어 개인 프로젝트에다가 데이터 세트 구축) 4. 데이터 세트 만들기2 - 적당히 채워 넣는다.(마찬가지로 여기서는 프로젝트 ID 가 data-to-insights ..
0. 목표 - sourcetree 로 git 사용하기 1. 실습하기 1) repository 생성 2) 토큰 발급 3) 토큰 발급 4) 토큰 발급 5) 토큰 발급 - Generate token 으로 토큰 나오면 복사 6) 소스트리 다운로드(링크) 7) git clone - xcrun: error: invalid active developer path 에러 발생 시 xcode-select --install 8) 폴더 지정 9) 폴더 지정 10) 폴더 지정 - 더블클릭 11) 히스토리 12) 우상단 설정 -> 원격 -> 내용 편집 13) 최상단 설정 -> 계정 -> 추가 14) 해당 폴더 내 파일 생성 시 하나 뜸 15) 브랜치 생성 - 브랜치 클릭 이후 적당한 브랜치 이름 생성 16) 커밋 17) 커밋 -..
0. 목표 - python + crontab 으로 slack 에 메세지 보내기 1. 실습 1) slack webhook key 받기 (1) 슬랙 앱 (2) Incoming WebHooks 추가 (3) slack 에 추가 (4) 대상 채널 찾기 (5) URL 복사 2) python 코드 작성 import requests import datetime def webhook(text): url = "슬랙 URL" json = {'text' : text} requests.post(url, json = json) now = datetime.datetime.now() now = now.strftime("%m/%d/%Y, %H:%M:%S") print(now) webhook(now) 3) crontab 작성 - cro..
0. 목표 - Google Data Studio 그룹화로 컨트롤 따로하기 1. 실습 1) 데이터 추가 2) csv 추가 3) 컨트롤 및 차트 추가 4) 이때, 아무것도 지정해주지 않으면 양쪽의 컨트롤은 상호 작용하기에 불편함이 발생 - 현재 좌쪽에 Mar 로 진행해주었기에 우측에도 Mar 로만 지정 가능 5) 차트와 컨트롤을 묶어서 그룹화 진행 6) 따로 컨트롤 가능
- 해당 코드는 pytchat 0.5.5 공식 문서를 그대로 옮긴 것 임을 먼저 밝힙니다. 0. 목표 - pytchat 을 통한 유투브 라이브 댓글 크롤링 1. 실습 1) pytchat 설치 pip install pytchat * 이미 설치하신 분 들 중 버전이 낮아서 안되는 분들은 업그레이드 필요 pip install --upgrade pytchat==0.5.5 2) library 호출 import pytchat 3) video_id 구하기 - 구하고자 하는 유투브 라이브 방송의 url 중 v= 이후 문자(여기서는 2p-7_CSQ1eU 가 video_id) 4) 코드 실행 chat = pytchat.create(video_id="위에서 구한 video_id 입력") while chat.is_alive(..
0. 플로우 차트 1. 실습 1) zapier 에서 Zaps 클릭 2) Make a New Zap 3) Schedule 4) 주기 설정 => Continue 5) 주말 여부 확인 6) Test trigger 7) + 8) slack 선택하고 Send Channel Message 9) 사용할 슬랙 계정 확인 10) 구글 스프레드 시트를 열어 차트 하나 만듬 11) 차트 이름 클릭, 이미지 => 게시 이후 링크 복사 12) zapier 로 돌아와서 Attach Image By URL 에 붙여넣기 13) Continue 14) Test & Continue 2. 결과 3. 참고 - How to post a Google Sheets Chart as an Image to Slack (or any app)
0. 목표 - 블로그 유입 검색어 확인을 위한 구글 서치콘솔 연동 1. 문제 1) 획득 -> 캠페인 -> 자연 키워드 에서 검색어 확인 가능 - 이는 사이트 뒤의 쿼리를 통해서 얻은 결과 - (not provided) 는 구글에서 검색해서 들어온 결과인데, 뒤의 쿼리를 제공해 주지 않기에 (not provided) 라고 표시 - 해당 데이터는 구글 서치콘솔을 연동해 줘야 따로 확인 가능 2. 구글 서치콘솔 연동 1) 획득 -> Search Console -> 검색어 - Search Console 데이터 공유 설정 클릭 2) 혹은 속성 -> 속성 설정 -> Search Console 조정 클릭 3) 추가 4) Search Console에 사이트 추가 5) 확인 6) 블로그 주소 입력 7) 완료 8) 저장 ..
0. 목표 - Grafana 그래프 색상 변경 1. 실습 1) 데이터 셋팅 및 그래프 생성(링크) 2) 색상 변경 - 범례의 색을 클릭하여 변경 * 범례의 글이 아닌 옆의 선분을 클릭 - 탭의 Y Axis 클릭시 plotyy의 형태로 나타남 2. 참고 - How to set the color of drawings (line or bar)
0. 목표 - Facebook 그래프 Api 탐색기를 통한 정보 추출 1. 실습 1) 페이스북 개발자 센터 접속(링크) - 우측의 내 앱 클릭 2) 기능 선택 3) 정보입력 4) 도구 -> 그래프 API 탐색기 5) 원하는 권한 추가 이후 Generate Access Token 클릭 - 인증 내용 나오면 진행 6) 원하는 정보(email) 입력하고 제출 7) 결과 8) 아래의 코드 받기를 누르면 해당 코드 제공 9) curl 테스트 2. 참고 - [Python 크롤링] 페이스북 페이지 크롤링 ( Graph API , JSON ) - 그래프 API 사용 - Facebook 크롤러