장비 트러블슈팅 이야기

잘 쓰던 리눅스 장비가 기동한 뒤 특정 시간이 지나면 ssh 연결이 모두 끊어져버리는 문제를 경험했습니다.
다른 장비에서 ssh 접속해 사용하던 장비라 난감하더라구요.
ssh 뿐만 아니라 삼바나 다른 서비스도 접근이 불가능해졌습니다.

해당 장비는 네트워크로만 접속해 사용하고 있었습니다.
해당 장비의 모니터 출력은 DSUB 뿐인데, 장비 가까이 있는 모니터는 hdmi, dvi, dp 입력은 받지만 dsub 를 받지 못합니다.
dsub>dvi 젠더가 있어서 사용해보았지만 화면이 나오지 않았습니다.
알고보니 저 젠더는 dvi 출력을 dsub 로 사용할 수는 있지만, dsub 출력을 dvi 로 사용할 수는 없는 케이블이었습니다.

먼저 ssh 로그부터 확인해보려고 /var/log 안을 찾아 보았습니다.
그런데 로그를 찾을 수 없었습니다.
데비안의 경우 ssh 관련 로그는 /var/log 안에 없으면 /var/log/upstart , 데비안 9 이상일 경우 journalctl -u ssh를 이용해 확인할 수 있다고 지인이 알려주었습니다.
겨우겨우 ssh 로그를 확인해 보았지만, 특이한 로그는 확인할 수 없었습니다.

시스템이 무언가 hang 이 걸리나 싶어 모니터 없이 확인할 수 있도록 여러가지로 정보를 남겨 보았습니다.
top -b -n 1 로 top 정보를 남겨보고, lsof 결과도 반복해서 남겨서 파일이 새는 문제인가도 확인해 보았습니다.
딱히 수치가 튀거나 하는 것은 확인하지 못했습니다.

네트워크가 끊겨 확인할 수 있는 수단이 없어 dmesg나 커널 로그를 확인하려고 해도 남은 것이 없었습니다.
그래서 dmesg 를 주기적으로 파일로 남겨 보았습니다.
파일에 남긴 것을 확인해봤지만, 눈에 띄는 메시지는 발견하지 못했습니다.
perf: interrupt took too long 메시지가 남아 있었지만 원인을 알기는 힘들었습니다.

혹시나 싶어 ifconfig 결과를 주기적으로 기록해 보았습니다.
문제가 발생했을 때, ip 주소가 날아가 있었습니다.
dsub 케이블 긴 것을 구해서 dsub 입력을 받는 모니터에 연결해서 ifdown-ifup 을 해 봤더니 네트워크가 살아났습니다.

알고보니 avahi 데몬이 정적으로 설정한 네트워크 인터페이스 정보를 날려버린 것이었습니다.
이런 문제를 겪은 것이 저 혼자만이 아니었네요.
avahi를 비활성화 시킨 후 문제가 해결되었습니다.