System (13) 썸네일형 리스트형 [Tomcat] OutOfMemoryError: unable to create new native thread 1. 증상API 서버에서 OutOfMemoryError: unable to create new native thread 발생해당 서버에서의 장애로 인해 서비스 접속 간헐적 에러 발생2. 선조치장애 복구를 위해 배포를 시도했으나, SFTP 접근 중 secure 로그상에 do_exec_no_pty: fork: Resource temporarily unavailable 오류 발생톰캣 강제 종료 후 커널 파라미터 (open files, max user processes) 조정 및 배포 진행 → 정상화3. Root Cause 분석(1) 주요 확인 사항OOM 발생 로그 분석 결과, 신규 쓰레드 생성이 불가능한 상태 (추가로 secure로그를 통해 파일 디스크립터 부족 가능성 시사)동일한 환경의 이중화 서버 중 AP.. [prometheus/grafana] "Found Duplicate Series for the Match Group" 1. 들어가며.Prometheus와 Grafana를 활용해 데이터를 수집하고 대시보드를 구성하던 중, 기존에 설정된 패널에서 "Found Duplicate Series for the Match Group" 오류가 발생하며 정상적으로 데이터를 표시하지 못하는 문제가 발생했습니다. 이 글에서는 해당 오류가 발생한 원인과 해결 방법을 정리합니다.2. 오류 발생 원인2.1 문제가 발생한 PromQL 쿼리 예시오류가 발생한 PromQL 쿼리는 SNMP Exporter를 통해 수집한 ifHcInoctets 메트릭(네트워크 인터페이스의 바이트 단위 수신량)을 활용한 아래와 같은 형태였습니다.ifHcInoctets{instance="$instance", type="$type", category="network"}이 쿼.. [Prometheus/Grafana] node_exporter ACPI Error: SMBus or IPMI write requeires Buffer of length 66, found length 32 0. 개요기존 모니터링인 Nagios에서 시스템 메트릭 모니터링을 하기 위하여 Prometheus+Grafana+NodeExporter로내부 서버 모니터링을 시작했습니다. 온프레미스 장비들에 node_exporter 설치 후 시스템 메트릭을 수집하는 도중, /var/log/messages에 다음과 같은 ACPI 관련 커널 오류가 발생하는것을 확인 할 수 있었습니다. ACPI Error: SMBus or IPMI write requires Buffer of length 66, found length 32 (20090903/exfield-286)이 오류는 ACPI(Advanced Configuration and Power Interface)와 관련된 SMBus(System Management Bus) 또는.. No configuration file found at /root/.esmtprc or /etc/esmtprc 0. 들어가며Rocky OS를 운영하며 제목과 같은 에러가 주기적으로 /var/log/messages에 발생하는것을 확인 할 수 있었습니다.해당 메시지는 crontab에 등록된 작업이 실패 할 경우에 다량으로 발생하는것을 확인하였는데,이 글은 위에 대한 조치 방안에 대해서 작성하였습니다.1. 발생 원인cron은 기본적으로 작업 실행 결과에 대한 내용을 메일로 발송하게끔 구성되어있습니다.이로 인해 crontab에서 시행한 결과를 발송하려했으나, 서버내에 메일에 대한 설정이 없을 경우에 제목과 같은 에러가 발생합니다. 2. 조치 방안조치 방안은 크게 두가지 방안이 있습니다. 2-1) 메일 프로세스 설치 간단한 조치 방법으로 메일서버를 설치해주면 해당 에러는 더이상 발생하지 않습니다.[root@test ~.. SFTP서버 운영간 SSH 세션 관리 0. 들어가며서버를 관리하면서 SFTP(Secure File Transfer Protocol)를 사용하다 보면, 아래와 같이 SFTP 세션이 종료된 후에도 SSH(Secure Shell) 세션이 끊어지지 않고 유지되는 현상을 경험할 수 있습니다. ps -ef | grep sshroot 115547 1079 0 13:19 ? 00:00:00 sshd: testuser [priv]testuser 115549 115547 0 13:19 ? 00:00:00 sshd: testuser@nottyroot 116144 1079 0 15:19 ? 00:00:00 sshd: testuser [priv]testuser 116147 116144 0 1.. 이전 1 2 3 다음
