목록엘라스틱서치 (6)

pbj0812의 코딩 일기

[빅데이터기술] Grafana + ElasticSearch 시계열 대쉬보드 생성

0. 목표 - Grafana + ElasticSearch 시계열 대쉬보드 생성 1. 실습 1) ElasticSearch 설치(링크) 및 데이터 생성(링크) 2) Grafana 설치 및 실행(링크) 3) Configuration -> Data Sources 4) Add data source -> Elasticsearch 5) 연결 - save and test 로 연결 확인 - ES 버전이 중요 - Time field 설정 6) Create -> Dashboard 7) Add new panel 8) 쿼리를 세개 만들어서 소년의 결과와 소녀의 결과와 전체의 결과를 시각화 9) 완성 - 9:00 기준으로 묶이는건 왜인가...
빅데이터/빅데이터기술 2020. 12. 30. 20:37
[빅데이터기술] Kibana에서 날짜를 기준으로 한 바 차트 생성

0. 목표 - Kibana에서 날짜를 기준으로 한 바 차트 생성 1. 데이터 삽입 1) library 호출 from elasticsearch import Elasticsearch from elasticsearch import helpers 2) ES 연결 es = Elasticsearch('http://127.0.0.1:9200') es.info() 3) 인덱스 생성 함수 def make_index(es, index_name): if es.indices.exists(index=index_name): es.indices.delete(index=index_name) es.indices.create(index=index_name) 4) 날짜 생성 - ES에서 인덱스 생성시 자동으로 날짜 포맷으로 인식하기 위해..
빅데이터/빅데이터기술 2020. 12. 29. 03:53
[빅데이터기술] ElasticSearch, Kibana에서 원하는 단어만 필터링하기

0. 목표 - ElasticSearch, Kibana에서 원하는 단어만 필터링하기 - ES, Kinbana 설치 및 실행 1. 데이터 생성 1) library 호출 from elasticsearch import Elasticsearch from elasticsearch import helpers 2) ES 연결 es = Elasticsearch('http://127.0.0.1:9200') es.info() 3) 인덱스 생성 함수 def make_index(es, index_name): if es.indices.exists(index=index_name): es.indices.delete(index=index_name) es.indices.create(index=index_name) 4) 테스트 데이터 i..
빅데이터/빅데이터기술 2020. 12. 25. 18:59
[빅데이터기술] docker 로 ElasticSearch + Kibana 연동 + python 연동을 통한 데이터 삽입 및 확인

0. 목표 - docker 로 ElasticSearch + Kibana 연동 1. 도커 설정 1) elasticsearch docker 이미지 가져오기 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.10.1 2) 컨테이너 실행 - 9200 포트 연결 docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.10.1 3) 실행 컨테이너 확인 docker ps 4) localhost:9200 5) kibana docker 이미지 가져오기 docker pull docker.elastic.co/k..
빅데이터/빅데이터기술 2020. 12. 19. 03:36
[빅데이터] elasticsearch + kibana 설치 및 튜토리얼 (windows 환경)

0. elasticsearch 설치 / 실행 1) 다운로드 - 링크 2) 실행 - 압축해제 이후 bin 폴더 아래의 elasticsearch.bat 실행 1. kibana 설치 / 실행 1) 다운로드 - 링크 2) 실행 - 압축해제 이후 bin 폴더 아래의 kibana.bat 실행 * elasticsearch 실행 필요 2. kibana 튜토리얼 따라하기(링크) 1) kibana 열기 - http://localhost:5601/ - try our sample data 클릭 2) Sample flight data(add data) 클릭 - 클릭시, 대쉬보드, 시각화 도구, 인덱스 패턴 등이 설치 3) discover - 좌측의 discover(나침반 그림) 클릭 - 전체 데이터의 원본 모양 확인 가능 - ..
빅데이터/빅데이터기술 2020. 3. 23. 00:50
[빅데이터] Mac OS에 elasticsearch 설치

1. 정의 - 분산형 RESTful 검색 및 분석 엔진 - 예상 가능한 / 예상치 못한 항목 탐색 2. 장점 - 분석 : 정형 / 비정형 데이터 검색 및 결합 지원 - 속도 : BKD tree 구현을 통한 액세스 속도 향상 * BKD tree : dynamic data structure based on the kd-tree - 확장성 : 모든 유형의 인프라에서 실행 가능 - 정확도 : 오타 같은 복잡성도 고려 가능 - 복원력 : 클러스터간 복제를 통한 데이터 보호 3. 설치 1) JAVA 8 필요 - brew install elasticsearch를 하게 되면 아래와 같은 에러 발생 - 아래의 문구 입력 brew cask install homebrew/cask-versions/adoptopenjdk8 2..
빅데이터/빅데이터기술 2019. 12. 3. 00:52
Prev 1 Next