본문 바로가기

Project/ElasticStack

 (7)
[logstash/beat] Failed to publish events caused by : write tcp write: connection reset 0. 들어가며ElasticStack을 구축하며 beat와 logstash를 연동하여 운영하는데, beat를 통해 데이터를 수집하는 서버에서 아래 이미지와 같은 에러가 지속적으로 발생함을 알수있었다. 해당 글은 지속적으로 발생하는 해당 에러를 조치하는 방안을 작성한 글이다. 1. 원인 파악원인을 파악하기 위해 클라이언트(beat)에서 로그스태시로 telnet 접속시도를 했는데 정상적으로 커넥션이 되는걸 확인할 수 있었다. 즉 통신에는 문제가 없음을 확인하였고, 로그를 확인해보니 내용에 나와있는 connection reset by peer의 경우 클라이언트가 아닌 서버측에서 RST를 던져서 접속이 끊길때 발생하는 에러이기에, RST를 던진쪽이 서버(logstash)인지 상단 또는 네트워크장비인지 확인을 하기..
beat-rsyslog 연동 이슈 0. 들어가며auditbeat가 구동중인 linux 서버에서 rsyslog를 연동 할 경우 messages 로그에 설정한 auditbeat log가 남는것을 확인 할 수 있다. 이는 로그를 관리해야하는 입장에서 시스템 로그와 섞이기에 로그확인에 불편항 사항을 초래 할 수있다. 하지만 추가 설정 없이 기본 설정으로 운영 할 경우 rsyslog를 통하여 messages 로그에 남는 auditbeat 로그의 컨트롤 (ex.예외처리,파일분리 등)이 불가한데 아래는 이와같은 문제를 해결해나가는 과정이다.1. auditbeat facility 확인auditbeat 의 공식 docs를 찾아봐도 syslog의 facility에 대한 내용이 남겨져있는건 확인을 못했다.(필자가 못찾은거일수도..)서치중에 아래와 같이 li..
ElastAlert2 Alert UTC 타임존 문제 해결 0. 들어가며Elasticsearch는 기본적으로 UTC 타임존을 사용하여 데이터를 저장합니다. 이는 시스템 간 일관성을 유지하는 데 유리하지만, 사용자나 클라이언트가 있는 지역에 맞춰진 로컬 타임존으로 데이터를 보여줘야 하는 경우에는 불편할 수 있습니다. 특히 Kibana와 같은 시각화 프로그램은 타임존을 자동으로 변환하여 표시하지만, ElastAlert2는 기본적으로 이 기능을 제공하지 않기 때문에 알람에 표시되는 시간이 UTC로 나타납니다.1. Enhancement ModuleElastAlert2에서는 알람 발송 전에 사용자의 환경 또는 니즈에 맞춰서 알람 match를 변경할 수 있는 enhancement 모듈을 지원합니다. 이를 통해 타임스탬프 데이터를 알람이 전송되기 전에 적절한 타임존(KST)..
로그 모니터링 시스템 구축 도전기 #2 로그 파싱룰 잡기(Grok) 알람 및 키바나 대시보드 구성과 ES성능 향상을 위해서 로그에서 필요한 부분만 가져오게끔 하는 파싱룰이 정말 중요하다.  logstash에는 grok이라는 filter가 있는데 해당 filter를 통해서 원하는 데로 로그를 파싱 할 수 있다.grok filter란? Grok filter plugin | Logstash Reference [8.12] | ElasticVariable substitution in the id field only supports environment variables and does not support the use of values from the secret store.www.elastic.co정규화된 패턴을 통하여 로그를 파싱 할 수 있는데, 기본적인 패턴은 grok-p..
로그 모니터링 시스템 구축 도전기 #1 index? query? documents? 인프라 담당자로 경력을 쌓다 보니, 쿼리나 이런 부분에 대해서는 예전 호스팅업체를 다닐 때 mysql에서 select정도만 사용해 보고 지식이 전무한 상태이다. Elastic Stack을 임시 구축하며 느끼기에 Elastic Stack에 대한 구축도 중요하지만운영도 해야기에 껍질만 구축해선 안된다는 생각이 들었다. 그리고 정작 원하는 데이터를 가지고 알람 설정등을 진행해야하는데, 개발 인력의 도움 없이 혼자서 진행하려고 하니, 구축은 어느정도 했으나  엘라스틱서치에 데이터 조회 부분부터 막막하여 , ElasticSearch의 기초적인 부분을 공부하고자 한다.  ElasticSearch 중요한 개념 두 가지 첫 번째. Documents 데이터베이스적 관점에서 생각한다면 문서는 어떤 Entity를 나타내는 ..

티스토리툴바