본문 바로가기

전체보기

 (45)
[Tomcat] OutOfMemoryError: unable to create new native thread 1. 증상API 서버에서 OutOfMemoryError: unable to create new native thread 발생해당 서버에서의 장애로 인해 서비스 접속 간헐적 에러 발생2. 선조치장애 복구를 위해 배포를 시도했으나, SFTP 접근 중 secure 로그상에 do_exec_no_pty: fork: Resource temporarily unavailable 오류 발생톰캣 강제 종료 후 커널 파라미터 (open files, max user processes) 조정 및 배포 진행 → 정상화3. Root Cause 분석(1) 주요 확인 사항OOM 발생 로그 분석 결과, 신규 쓰레드 생성이 불가능한 상태 (추가로 secure로그를 통해 파일 디스크립터 부족 가능성 시사)동일한 환경의 이중화 서버 중 AP..
[prometheus/grafana] "Found Duplicate Series for the Match Group" 1. 들어가며.Prometheus와 Grafana를 활용해 데이터를 수집하고 대시보드를 구성하던 중, 기존에 설정된 패널에서 "Found Duplicate Series for the Match Group" 오류가 발생하며 정상적으로 데이터를 표시하지 못하는 문제가 발생했습니다. 이 글에서는 해당 오류가 발생한 원인과 해결 방법을 정리합니다.2. 오류 발생 원인2.1 문제가 발생한 PromQL 쿼리 예시오류가 발생한 PromQL 쿼리는 SNMP Exporter를 통해 수집한 ifHcInoctets 메트릭(네트워크 인터페이스의 바이트 단위 수신량)을 활용한 아래와 같은 형태였습니다.ifHcInoctets{instance="$instance", type="$type", category="network"}이 쿼..
더 빠르게 실패하기 저자 : 존크럼볼츠,라이언바비노독서일자 :  2024.01.21 ~ 2025.02.25어느 날 유튜브를 보다가 숏츠 알고리즘에서 '게으른 완벽주의자'라는 개념을 소개하는 영상을 보게 되었다.흥미로운 이야기였기에 영상을 끝까지 시청했는데, 그 내용이 꼭 나를 묘사하는 것처럼 느껴졌다. 알고 보니 이 숏츠는 '빠르게 실패하기'(개정판: '더 빠르게 실패하기')라는 책의 내용을 기반으로 만들어진 것이었다. 그래서 더욱 관심이 생겨 책을 구매해 읽어보았다.'게으른 완벽주의자'라는 표현을 보면 '완벽주의자'라는 단어 때문에 긍정적인 느낌이 들 수도 있다. 하지만 실제 의미는 조금 다르다. 완벽을 기하기 위해 더 준비해야 한다는 핑계를 대거나, 내가 아직 부족하다는 생각을 이유로 도전을 미루는 사람들을 가리킨다. ..
[Prometheus/Grafana] node_exporter ACPI Error: SMBus or IPMI write requeires Buffer of length 66, found length 32 0. 개요기존 모니터링인 Nagios에서 시스템 메트릭 모니터링을 하기 위하여 Prometheus+Grafana+NodeExporter로내부 서버 모니터링을 시작했습니다. 온프레미스 장비들에 node_exporter 설치 후 시스템 메트릭을 수집하는 도중, /var/log/messages에 다음과 같은 ACPI 관련 커널 오류가 발생하는것을 확인 할 수 있었습니다.  ACPI Error: SMBus or IPMI write requires Buffer of length 66, found length 32 (20090903/exfield-286)이 오류는 ACPI(Advanced Configuration and Power Interface)와 관련된 SMBus(System Management Bus) 또는..
사피엔스 저자 : 유발하라리독서일자 :  2024.11.01 ~ 2025.01.10한동안 책을 안 읽다가 다시 읽게 되었는데, 여러 책을 고민하던 중 회사 임원분께서 추천해 주신 사피엔스라는 책을 읽기 시작했다. 인류학을 주제로 쓰인 책인데 흥미로운 부분도 있지만 이해하기 어려운 부분이 있어 독서하는 시간이 생각보다 오래 걸린듯하다.  전체적으로 읽어보니 인류가 어떻게 발전해 왔는지 즉, 유인원부터 현재까지 이르기에 있었던 역사적인 사건, 사고등을 한 번에 볼 수 있어 좋았다. 다양한 역사에 대해 알게 되니 식견이 좀 넓어진 느낌이다.이 책도 국가란 무엇인가와 똑같이 독서 능력이 지금보다 더 향상된다면 다시 한번 정독해보고싶은 책이다.내용 중 흥미로웠던 주제는 호모사피엔스(우리)가 세상을 지배 할수있었던건 협동을..

티스토리툴바