본문 바로가기

전체 글41

filebeat, metricbeat의 module 사용해서 Kibana로 시각화해보기 Beats What is Beast? filebeat, metricbeat와 같은 Beats 제품군들은 Elastic에서 개발한 데이터 수집기 입니다. Beats는 Go 언어로 개발된 프로그램으로 설치된 서버에 큰 부담을 주지 않고, ELK와 연계되어 다양한 시스템 이벤트를 수집할 수 있습니다. https://www.elastic.co/kr/downloads/beats/ Beats 다운로드: Elasticsearch를 위한 데이터 수집기 Elastic Stack용 경량 데이터 수집기인 Beats를 사용하여 데이터를 Elasticsearch로 손쉽게 수집하고 로그 파일, CPU 메트릭, 네트워크 데이터 등을 처리하세요. www.elastic.co 설치 및 실행은 블로그에 포스팅 되어 있으니 참고 부탁드립니.. 2023. 7. 16.
Java의 람다식(Lambda expression)에 대해 알아보기 람다(Lambda expression) 람다는 자바에 함수형 프로그래밍을 가능하게 하면서 간결하고 표현력이 풍부해지며 가독성이 높아지는 등 많은 이점을 가져와 줬다고 생각합니다. 그렇다면 이 람다는 무엇이고, 어떻게 작성되는 것인지 Java API를 참고하면서 설명해보겠습니다. What is Lambda? 람다식은 Java 8부터 도입 되었고, 메서드를 하나의 식 형태로 나타낼 수 있게 해주는 기능입니다. PriorityQueue pq = new PriorityQueue((a, b) -> a[0] == b[0] ? a[1] - b[1] : a[0] - b[0]); 위의 람다식 활용은 우선순위큐의 정렬 기준을 식의 형태로 간단하게 지정해 줄 수 있음을 알게 해줍니다. 람다식이 없었다면 코드를 좀 더 작성하.. 2023. 7. 15.
Elasticsearch 기본 - 엘라스틱 스택 개발부터 운영까지 해당 포스팅은 엘라스틱 스택 개발부터 운영까지를 읽으며 알아낸 내용을 정리한 글입니다. 현재 프로젝트에 필요한 부분만 우선 선별하여 공부한 내용이니 이 점을 감안하시고 봐주시면 좋겠습니다. 엘라스틱 서치 일단 용어와 개념 익히기 그리고 나서 시스템 만져보기 엘라스틱 서치에서 가장 먼저 익혀야 하는 개념은 데이터 저장, 인출 방식입니다. 인출을 위해서는 데이터를 저장해야하고 저장하기 위해서는 스키마 구성이 필요합니다. 이 과정에서 데이터 타입을 배우고 전문 검색 내부 동작 방식을 이해해야 합니다. 그래야 이 모든 기본적인 것들을 익히고 나서 검색과 집계가 가능해집니다. 저장의 핵심인 인덱스와 document 개념 익히기 Document CRUD, 엘라스틱 서치의 스키마인 매핑 개념 익히기 이런 개념이 현실.. 2023. 7. 14.
Nginx 서버에 filebeat와 metricbeat 설치 후 설정파일 작성 이제 ec2에 nginx 서버를 설치해보고 이 웹 서버의 로그와 메트릭 정보를 Elasticsearch로 넘겨서 Kibana로 시각화 해보겠습니다. 환경은 ec2의 Ubuntu 22.04버전 입니다. Nginx 설치 sudo apt-get update sudo apt-get install nginx sudo systemctl enable nginx.service 순서대로 입력해주시면 됩니다. 이런식으로 active라고 나오면 성공입니다. Filebeat, metricbeat 설치 및 설정 설치 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - sudo apt-get install apt-transport-h.. 2023. 7. 13.