ceph 구성중 osd를 재구성하기 위해 설치하는 중 다음과 같은 오류가 발생할 수 있다.
다음의 오류 배경은 기존에 사용하던 osd의 raid 구성을 초기화 한후 raid 재구성시 나올 수 있는 error 메시지.
결론 부터 말하자면 osd 서버를 리부팅 해주어야 하다.
ceph의 구성 팜에 재구성 하기 이전의 osd 의 디스크 정보로 인하여 새로 재구성된 osd disk 에 대해 충돌을 일이키는 것으로 파악된다.( 오류 메시지중 일부 “You should reboot now before making further changes.”)
—————————————————————————————————-
aution: invalid backup GPT header, but valid main header; regenerating
[cloudv-osd-D][WARNIN] backup header from main header.
[cloudv-osd-D][WARNIN]
[cloudv-osd-D][WARNIN] Warning! Main and backup partition tables differ! Use the ‘c’ and ‘e’ options
[cloudv-osd-D][WARNIN] on the recovery & transformation menu to examine the two tables.
[cloudv-osd-D][WARNIN]
[cloudv-osd-D][WARNIN] Warning! One or more CRCs don’t match. You should repair the disk!
—————————————————————————————————-
[cloudv-osd-D][WARNIN] Caution: invalid backup GPT header, but valid main header; regenerating
[cloudv-osd-D][WARNIN] backup header from main header.
[cloudv-osd-D][WARNIN]
[cloudv-osd-D][WARNIN] Invalid partition data!
[cloudv-osd-D][DEBUG ] GPT data structures destroyed! You may now partition the disk using fdisk or
[cloudv-osd-D][DEBUG ] other utilities.
[cloudv-osd-D][WARNIN] ceph-disk: Error: Command ‘[‘/sbin/sgdisk’, ‘–zap-all’, ‘–‘, ‘/dev/sdb’]’ returned non-zero exit status 2
[cloudv-osd-D][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk zap /dev/sdb
—————————————————————————————————-
[cloudv-osd-D][WARNIN] No data was received after 300 seconds, disconnecting…
[ceph_deploy.osd][DEBUG ] Calling partprobe on zapped device /dev/sda
[cloudv-osd-D][INFO ] Running command: partprobe /dev/sda
[cloudv-osd-D][WARNIN] Error: Partition(s) 1 on /dev/sda have been written, but we have been unable to inform the kernel of the change, probably because it/they are in use. As a result, the old partition(s) will remain in use. You should reboot now before making further changes.
[cloudv-osd-D][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: partprobe /dev/sda
—————————————————————————————————-
[cloudv-osd-D][WARNIN] No data was received after 300 seconds, disconnecting…
[ceph_deploy.osd][DEBUG ] Calling partprobe on zapped device /dev/sda
[cloudv-osd-D][INFO ] Running command: partprobe /dev/sda
[cloudv-osd-D][WARNIN] Error: Partition(s) 1 on /dev/sda have been written, but we have been unable to inform the kernel of the change, probably because it/they are in use. As a result, the old partition(s) will remain in use. You should reboot now before making further changes.
[cloudv-osd-D][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: partprobe /dev/sda
해당 osd 리부팅 후 osd 추가 과정인 ceph-deploy disk zpa [hostname]:[장치] 를 다시 한번 진행 해보길 바란다.
추가 부연 설명..
[cloudv-osd-E][WARNIN] Invalid partition data!
[cloudv-osd-E][DEBUG ] GPT data structures destroyed! You may now partition the disk using fdisk or
[cloudv-osd-E][DEBUG ] other utilities.
[cloudv-osd-E][WARNIN] ceph-disk: Error: Command ‘[‘/sbin/sgdisk’, ‘–zap-all’, ‘–‘, ‘/dev/sdo’]’ returned non-zero exit status 2
[cloudv-osd-E][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk zap /dev/sdo
위의 ERROR은
ceph-deploy disk zap cloudv-osd-E:sdo 의 설치 단계 진행시 나왔던 메시지이다.
이는 신규 서버에서 나올 수 있는 ERROR 은 아니고, 이전에 사용했던 것에 재설치 진행시 나올 수 있는 메시지이다.
기존 사용하던 OSD HDD를 그대로 사용시 문제되지는 않으나 기존 HDD를 OSD가 사용하는 포멧인 XFS가 아닌 EXT4 EXT3 등으로
포멧했을 경우 MGMT 서버에서 “ceph-deploy disk zap”진행시 즉 OSD HDD를 XFS로 포멧할시 자신이 사용하고자 하는
포멧과 맞지 않아 나오는 오류로 XFS가 아닌 다른 포멧방식으로 디스크를 포멧했다면 XFS로 모두 다시 해주어야 한다.
이외에 다른 방법은 다음과 같다.
1.디스크 초기화
2.ceph-deploy disk zap 를 한번 더 진행.
(처음진행시 위와 같은 ERROR 메시지를 출력하지만 같은 디스크를 두번째 했을 경우 정상적으로 진행됨.)