서버가 응답이 없을때..INfo:task : lock for more than 120 seconds”

리눅스 시스템을 운영하다 보면  시스템 Hang-up에 대한  문제점을 많이 들어나게 됩니다. 물론  리눅스 시스템
자체의 문제점이라고 보다는 특정 운영 프로세스에 대해서 인터럽트 또는 스케쥴이 정상적으로 진행되지 못했을때 나타는 문제점에 대해서 간략해 소개해 보고자 합니다.

갑자기 시스템  로그에서 출력하게된 /var/log/message 의 시스템 로그.

kernel: INFO: task startup.sh:9902 blocked for more than 120 seconds.  kernel: “echo 0 > /proc/sys/kernel/hung_task_timeout_secs” disables this messag  kernel: startup.sh    D 0000000000000008     0  9902   7811 0x00000004  kernel: ffff880828f17ce8 0000000000000082 ffff88081c2aeaa0 ffff88081c2aeaa0  kernel: ffff88081c2aeaa0 ffffea00378c0d98 ffff88081c2aeaa0 0000010100001e60  kernel: ffff88081c2af058 ffff880828f17fd8 000000000000fb88 ffff88081c2af058  kernel: Call Trace:  kernel: [<ffffffffa00accf0>] ? ext4_file_open+0x0/0x130 [ext4]  kernel: [<ffffffff814eae85>] schedule_timeout+0x215/0x2e0  kernel: [<ffffffff81174234>] ? nameidata_to_filp+0x54/0x70  kernel: [<ffffffff81268d39>] ? cpumask_next_and+0x29/0x50  kernel: [<ffffffff814eab03>] wait_for_common+0x123/0x180  kernel: [<ffffffff8105fa40>] ? default_wake_function+0x0/0x20  kernel: [<ffffffff814eac1d>] wait_for_completion+0x1d/0x20  kernel: [<ffffffff8106155c>] sched_exec+0xdc/0xe0  kernel: [<ffffffff8117ee90>] do_execve+0xe0/0x2c0  kernel: [<ffffffff810095ea>] sys_execve+0x4a/0x80  kernel: [<ffffffff8100b4ca>] stub_execve+0x6a/0xc0

[예상 문제점 1]
시스템 로그에서 나타난  kernel:INFO: task 의 메세지를 나타내는 의미는 현재 운영하고자 하는 startup.sh
스크립트에 대해서  120초 (2분 default) 동안 khungtaskd  쓰레드에서 D-state 상태를 감지하여  call trace
를 호출하게 되는  상황으로 예측할 수 있습니다. 

[예상 문제점2]
시스템의 성능저하 특히 레드햇의 보고서에 의하면 디스크의 heavy I/O 로 나타나는 문제점으로
예측될수 있습니다.

[예상 문제점 2]
운영되고 있는 Application에 대해서 “D-state” (Uninterruptible sleep) 모드가 120초 동안 지속되었을때
예측될수 있는 문제로  해당 프로세스가 정상적으로 스케쥴링이 일어나지 않았을 때도 나타나게 됩니다

[ D-state 원인분석을 위해서는 ? ]
위와같은 문제점에 대해서 접근할수 있는 기본적인 방법에 대해서는  정확한 문제점을  파악하기 위해서는  커널의 덤프를 이용하여 core를 분석하는 것이 가장 정확할수 있습니다. core를 분석하기 위한 방법론에 대해서는 다음
블로깅을 통하여 소개하도록 하겠습니다.

# echo 1 > /proc/sys/kernel/hung_task_panic

위와 같이  kernel core를  생성하기 위해 설정을 진행한 후 동일한 현생이 발생되어 core가 생성이 되면 문제가
되는 운영 프로세스의 D-state 문점에 대해서 분석이 가능합니다.

[ hung_task_timeout을 Disable 시켜라]
기본적인 Work-Arround에 대해서는  아래와 같이 hung_task_timeout 부분에 대해서 Disable 시켜주는 것을 권장하고 있습니다.

#  echo 0 > /proc/sys/kernel/hung_task_timeout_secs

위와 같이  커널에서 Hang Time OUt 을 체크하는 부분에 대해서 Disable 시켜준 후에는  call trace 여부가 지속적으로 발생되는지  모니터링이 필요합니다. 만약  해당 프로세스에 대해서  Uninterrupt sleep이 지속적으로 발생한다면 커널 업데이트 또한 고려해야 합니다.

 

[polldaddy rating=”7739789″]