VMware vCenter Server Appliance (VCSA), bazı durumlarda normal şekilde açılamaz ve Emergency Mode ekranına düşebilir. Bu durum genellikle dosya sistemi üzerinde bir tutarsızlık oluştuğunda görülür. Konsolda aşağıdakine benzer bir hata mesajı yer alabilir:

[FAILED] Failed to start File System Check on /dev/vg_root_0/lv_root_0

[DEPEND] Dependency failed for /sysroot
[DEPEND] Dependency failed for Initrd Root File System

Bu hata, vCenter’ın root dosya sistemini kontrol ederken problem yaşadığını ve bu nedenle işletim sisteminin normal açılış sürecini tamamlayamadığını gösterir.

Sorun Neden Oluşur?

Bu tür bir problem çoğunlukla aşağıdaki durumlardan sonra ortaya çıkar:

vCenter sanal makinesinin ani veya zorla kapatılması
ESXi hostunun beklenmedik şekilde kapanması
Elektrik kesintisi
Storage veya datastore erişiminde kısa süreli kesinti
Disk alanının tamamen dolması
Dosya sisteminde bozulma veya tutarsızlık oluşması
Storage tarafında I/O veya latency problemi yaşanması

Özellikle vCenter’ın düzgün şekilde kapatılmadan kapanması, dosya sistemi üzerinde tutarsızlık oluşmasına neden olabilir.

Hata Mesajı Ne Anlama Geliyor?

Ekrandaki en önemli satır şudur:

Failed to start File System Check on /dev/vg_root_0/lv_root_0

Burada yer alan:

/dev/vg_root_0/lv_root_0

vCenter Server Appliance’ın root dosya sistemini barındıran logical volume’dur. Sistem açılış sırasında bu bölümü kontrol eder. Kontrol başarısız olursa root filesystem güvenli şekilde bağlanamaz ve VCSA kendisini korumak amacıyla Emergency Mode ekranına geçer.

Çözüm Adımları

1. Öncelikle Geri Dönüş Planı Oluşturunuz

Dosya sistemi üzerinde onarım yapılacağı için işlem öncesinde mümkünse mevcut sistemin korunması gerekir. Production ortamında aşağıdakiler kontrol edilmelidir:

Güncel VCSA yedeği var mı?
File-based backup çalışıyor mu?
Datastore erişimi sağlıklı mı?
Storage tarafında alarm bulunuyor mu?
Geri dönüş için kullanılabilecek yedek veya snapshot mevcut mu?

Mümkünse onarım işlemine başlamadan önce vCenter’ın mevcut durumu güvence altına alınmalıdır.

2. GRUB Üzerinden Otomatik Dosya Sistemi Onarımı

İlk olarak otomatik filesystem repair işlemi denenebilir. vCenter yeniden başlatılır. GRUB ekranı geldiğinde;

tuşuna basılır.

Ardından linux ile başlayan satır bulunur ve satırın sonuna şu parametre eklenir:

fsck.repair=yes

Daha sonra:

F10

tuşuna basılarak sistem başlatılır. Bu işlem sırasında işletim sistemi dosya sisteminde tespit ettiği hataları otomatik olarak düzeltmeye çalışır. Sorunun büyüklüğüne göre açılış süresi normalden uzun olabilir.

3. Emergency Mode Üzerinden Manuel Kontrol

Otomatik onarım yeterli olmazsa manuel kontrol yapılabilir. Ekranda şu ifade görülebilir;

Give root password for maintenance:

Burada VCSA root parolası girilir. Sisteme giriş yaptıktan sonra önce disk ve LVM yapısı kontrol edilmelidir.

lsblk

Logical Volume’ları görmek için:

lvs

Volume Group bilgileri için:

vgs

Physical Volume bilgileri için:

pvs

Problemli volume’un gerçekten aşağıdaki disk olduğunu doğrulamak önemlidir:

/dev/vg_root_0/lv_root_0

4. Dosya Sistemini Onarın

Problemli filesystem doğrulandıktan sonra fsck çalıştırılabilir:

fsck -fy /dev/vg_root_0/lv_root_0

Alternatif olarak:

e2fsck -y /dev/vg_root_0/lv_root_0

kullanılabilir. İşlem sırasında aşağıdakine benzer mesajlar görülebilir:

Free blocks count wrong
FIXED

Free inodes count wrong
FIXED

Filesystem was modified

Bu mesajlar, dosya sisteminde tutarsızlık bulunduğunu ve düzeltildiğini gösterir. Filesystem onarımı veri yapısında değişiklik yaptığı için özellikle kritik sistemlerde bu işlem öncesinde yedek bulunması önemlidir.

5. Sistemi Yeniden Başlatın

Onarım işlemi tamamlandıktan sonra VCSA yeniden başlatılabilir.

reboot

veya kontrollü kapatma için:

shutdown -h now

kullanılabilir. Sistem yeniden açıldığında artık Emergency Mode ekranına düşmemesi beklenir.

vCenter Açıldıktan Sonra Yapılması Gereken Kontroller

Sistemin açılması tek başına yeterli değildir. Problemin neden oluştuğunu da araştırmak gerekir.

Servisleri Kontrol Edin

vCenter servislerinin durumunu görmek için:

service-control --status --all

Servislerin büyük bölümünün Running durumda olması beklenir. Gerekirse servisler şu komutla başlatılabilir:

service-control --start --all

Disk Alanını Kontrol Edin

Öncelikle genel disk kullanımı kontrol edilmelidir:

df -h

Ayrıca inode kullanımı için:

df -i

Özellikle aşağıdaki bölümler önemlidir:

/
/storage/log
/storage/db
/storage/archive
/storage/core
/storage/seat

Bu bölümlerden herhangi birinin %90-%100 seviyesine ulaşması vCenter servislerinde ve işletim sisteminde sorunlara neden olabilir. Root partition ayrıca şu komutla kontrol edilebilir:

df -h /

Logları İnceleyin

Problemin kaynağını anlamak için logların kontrol edilmesi faydalıdır. Sistem hatalarını görmek için:

journalctl -p err

Bir önceki açılıştaki hatalar için:

journalctl -b -1 -p err

Kernel ve disk hataları için:

dmesg | grep -i error

Daha detaylı disk ve filesystem hataları için:

dmesg | egrep -i "error|fail|I/O|filesystem|ext4"

kullanılabilir.

Storage ve ESXi Tarafını da Kontrol Edin

Filesystem hatası yalnızca vCenter işletim sisteminden kaynaklanmayabilir. Arka planda storage veya ESXi kaynaklı bir sorun da olabilir. Bu nedenle şu başlıkların da incelenmesi gerekir;

Datastore erişim durumu
Storage path durumu
APD veya PDL olayları
Storage latency
HBA veya iSCSI bağlantıları
Multipath yapılandırması
Datastore kapasitesi
ESXi storage logları

Özellikle ortak storage kullanılan yapılarda kısa süreli bağlantı problemleri bile VM filesystem’lerinde tutarsızlığa neden olabilir.

Problemin Tekrar Yaşanmaması İçin Öneriler

Bu tür sorunların tekrar yaşanmaması için vCenter altyapısında bazı kontrollerin düzenli hale getirilmesi faydalıdır:

VCSA file-based backup yapılandırılmalı
Backup restore testi belirli aralıklarla yapılmalı
Disk ve partition kullanımları izlenmeli
/storage/log ve diğer kritik bölümler için alarm tanımlanmalı
Datastore kapasitesi takip edilmeli
Storage latency değerleri izlenmeli
VCSA zorla kapatılmamalı
Uzun süreli snapshot kullanımından kaçınılmalı
ESXi ve vCenter güncellemeleri düzenli uygulanmalı
Kritik loglar merkezi log veya SIEM sistemine gönderilmeli

Kısa Kurtarma Akışı

Sorun yaşandığında izlenebilecek pratik sıra şu şekildedir:

vCenter açılmıyor
        ↓
Emergency Mode
        ↓
Filesystem hata mesajı kontrol edilir
        ↓
/dev/vg_root_0/lv_root_0 doğrulanır
        ↓
Yedek / geri dönüş planı kontrol edilir
        ↓
GRUB üzerinden fsck.repair=yes denenir
        ↓
Sorun devam ederse
        ↓
fsck veya e2fsck ile manuel onarım yapılır
        ↓
VCSA yeniden başlatılır
        ↓
Servisler kontrol edilir
        ↓
Disk kullanımı kontrol edilir
        ↓
ESXi ve Storage logları incelenir

[TR] VMware vCenter Server Appliance Emergency Mode Hatası Nasıl Giderilir?