VMware vSphere altyapılarında sanallaştırma ortamının kesintisiz çalışabilmesi için ESXi sunucuları ile depolama sistemleri arasındaki bağlantının sağlıklı ve kararlı olması büyük önem taşır. Özellikle Fibre Channel (FC) teknolojisinin kullanıldığı SAN (Storage Area Network) ortamlarında, bağlantı kararsızlıkları sanal makinelerin performansını ve veri depolama erişilebilirliğini doğrudan etkileyebilir.
Bazı durumlarda, ESXi sunucusunun Fibre Channel HBA (Host Bus Adapter) bağlantı kabloları fiziksel olarak takılı olmasına rağmen Link Down Event, LOOP DOWN veya All Paths Down (APD) gibi hatalarla karşılaşılabilir.
Bu durum ilk bakışta ESXi işletim sistemi, HBA sürücüsü veya depolama yapılandırmasıyla ilişkili bir problem gibi görünse de sorunun temelinde çoğunlukla SAN altyapısındaki fiziksel bağlantı bileşenleri yer alır.
Bu makalede, VMware ESXi ortamlarında karşılaşılan HBA Link Down Event hatasının nasıl tespit edileceğini, ilgili log kayıtlarının nasıl analiz edileceğini ve sorunun giderilmesi için izlenmesi gereken adımları ele alacağız.
HBA Link Down Event Hatası Nedir?
Fibre Channel HBA, ESXi sunucusunun SAN switch üzerinden merkezi depolama sistemlerine erişmesini sağlayan donanım bileşenidir.
Normal koşullarda ESXi sunucusu, HBA üzerinden SAN fabric ağına bağlanır ve kendisine tanımlanan depolama birimlerine (LUN) erişim sağlar.
Ancak HBA ile SAN switch arasındaki fiziksel bağlantıda sinyal kaybı veya iletişim hatası oluştuğunda bağlantı durumu link-down olarak raporlanabilir.
Bu sorun meydana geldiğinde aşağıdaki durumlarla karşılaşılabilir:
- ESXi sunucusunun bazı depolama yollarına erişimini kaybetmesi.
- vCenter Server üzerinde depolama yolu yedekliliğinin azaldığına ilişkin uyarıların oluşması.
- Fibre Channel bağlantısının belirli aralıklarla kesilip yeniden kurulması.
- Sanal makinelerde disk erişim gecikmelerinin yaşanması.
- Datastore erişiminin geçici olarak kesilmesi.
- Tüm kullanılabilir depolama yollarının kaybedilmesi durumunda All Paths Down (APD) oluşması.
Burada önemli olan nokta, fiziksel kablonun HBA veya SAN switch portuna takılı olmasının bağlantının sağlıklı çalıştığı anlamına gelmemesidir.
Optik kablo, SFP transceiver veya switch portunda meydana gelen arızalar, kablo bağlı olsa bile Fibre Channel iletişiminin kesilmesine neden olabilir.
Hatanın Görüldüğü Ortamlar
Bu sorun aşağıdaki VMware ESXi sürümlerinde görülebilmektedir:
- VMware ESXi 8.x
- VMware ESXi 9.x
Özellikle Emulex ve QLogic Fibre Channel HBA kartlarının kullanıldığı ortamlarda ilgili sürücülerin log kayıtlarında bağlantı hataları gözlemlenebilir.
Sorun belirli bir HBA üreticisine özgü değildir. Fibre Channel altyapısında fiziksel bağlantı sorunlarının bulunduğu farklı donanım platformlarında da benzer belirtiler oluşabilir.
Hata Belirtileri ve Log Kayıtlarının İncelenmesi
HBA bağlantı problemlerinin tespit edilmesinde ESXi üzerinde oluşturulan sistem logları önemli bilgiler sağlar.
Özellikle vmkernel.log, vobd.log ve Fibre Channel adapter istatistikleri incelenerek sorunun hangi bağlantı üzerinde oluştuğu belirlenebilir.
vmkernel.log Üzerinde Link Down Hatalarının İncelenmesi
ESXi üzerinde Fibre Channel bağlantısıyla ilgili olaylar genellikle aşağıdaki log dosyasında kayıt altına alınır:
/var/log/vmkernel.log
QLogic HBA kullanılan sistemlerde aşağıdakine benzer bir hata görülebilir:
qlnativefc: vmhba#(12:0.0):
qlnativefcAsyncEvent:792:
LOOP DOWN detected
mbx1=2h mbx2=7h mbx3=0h mbx4=0hBu kayıt, Fibre Channel bağlantısında bir kesinti algılandığını gösterir.
Emulex HBA kullanılan sistemlerde ise aşağıdaki hata mesajlarıyla karşılaşılabilir:
WARNING: lpfc:
lpfc_mbx_cmpl_read_topology:3696:
vmhba4 1305 Link Down Event
x2 received Data: x2 x20 x800220 x0Ayrıca:
WARNING: lpfc:
lpfc_sli4_parse_latt_fault:5426:
1:0401 Link fault code: x3Bu mesajlar, HBA sürücüsünün Fibre Channel bağlantısında fiziksel bağlantı durumuyla ilişkili hata olayları algıladığını gösterir.
YYYY-MM-DDThh:mm:ss.msZ In(182) vmkernel: cpu30:2097182)qlnativefc: vmhba#(12:0.0): qlnativefcAsyncEvent:792:LOOP DOWN detected mbx1=2h mbx2=7h mbx3=0h mbx4=0h.YYYY-MM-DDThh:mm:ss.msZ Wa(180) vmkwarning: cpu59:2098131)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3696: vmhba4 1305 Link Down Event x2 received Data: x2 x20 x800220 x0YYYY-MM-DDThh:mm:ss.msZ cpu0:2098563)WARNING: lpfc: lpfc_sli4_parse_latt_fault:5426: 1:0401 Link fault code: x3
YYYY-MM-DDThh:mm:ss.msZ cpu0:2098563)WARNING: lpfc: lpfc_mbx_cmpl_read_topology:3709: 1:1305 Link Down Event x12 received Data: x12 x20 x800220 xÖzellikle Link Down Event ve Link fault code mesajlarının tekrarlanması, SAN bağlantısının kararlı çalışmadığına işaret edebilir.
vobd.log Üzerinde Depolama Yolu Hatalarının İncelenmesi
Fibre Channel bağlantı sorunu nedeniyle ESXi sunucusunun depolama yollarından biri kullanılamaz duruma gelirse vobd.log içerisinde yedeklilik kaybına ilişkin uyarılar oluşabilir.
Örnek log:
[esx.problem.storage.redundancy.degraded]
Path redundancy to storage device
naa.########### degraded.
Path vmhba4:C0:T5:L23 is down.
Affected datastores: "Datastore_name".Bu hata, ilgili depolama aygıtına erişim sağlayan yollardan en az birinin kullanılamaz hale geldiğini belirtir.
Örnekte vmhba4:C0:T5:L23 bağlantısının devre dışı kaldığı görülmektedir.
Bu noktada iki durumun birbirinden ayrılması önemlidir.
Depolama yolu yedekliliğinin azalması: Bir bağlantı devre dışı kalsa da alternatif bağlantılar üzerinden depolama erişimi devam edebilir.
All Paths Down (APD): Depolama aygıtına erişim sağlayan tüm kullanılabilir yolların kaybedilmesi halinde ESXi ilgili depolama aygıtına erişemez. Bu durum sanal makinelerin disk I/O işlemlerini etkileyebilir.
Dolayısıyla tek bir HBA bağlantısının kesilmesi her zaman APD oluşacağı anlamına gelmez. Ancak depolama altyapısındaki yedekliliği azaltarak ek arızalara karşı sistemi daha savunmasız hale getirir.
Fibre Channel HBA İstatistiklerinin Kontrol Edilmesi
Sorunun fiziksel bağlantıyla ilişkili olup olmadığını belirlemek için Fibre Channel adapter istatistikleri incelenmelidir.
ESXi sunucusuna SSH üzerinden bağlanarak aşağıdaki komut çalıştırılabilir:
localcli storage san fc stats getAlternatif olarak belirli bir HBA için:
esxcli storage san fc stats get -A vmhba4Örnek çıktı:
FcStat:
Adapter: vmhba4
Tx Frames: 3247373044
Rx Frames: 3495523668
Lip Count: 0
Error Frames: 311
Dumped Frames: 0
Link Failure Count: 73
Loss of Signal Count: 1858
PrimSeq Protocol Err Count: 0
Invalid Tx Word Count: 404212
Invalid CRC Count: 311
Input Requests: 0
Output Requests: 0
Control Requests: 0Bu çıktı içerisinde özellikle aşağıdaki sayaçlar değerlendirilmelidir.
| Parametre | Açıklama |
|---|---|
| Error Frames | Fibre Channel iletişiminde algılanan hatalı frame sayısını gösterir. |
| Link Failure Count | Fiziksel bağlantı arızası olaylarının sayısını belirtir. |
| Loss of Signal Count | Optik veya fiziksel sinyal kaybıyla ilgili olayları gösterir. |
| Invalid Tx Word Count | Fiziksel iletim seviyesinde algılanan geçersiz iletim karakterlerini gösterir. |
| Invalid CRC Count | İletim sırasında bütünlük kontrolünden geçemeyen frame sayısını belirtir. |
Örnekte Loss of Signal Count değerinin 1858, Invalid Tx Word Count değerinin ise 404212 olduğu görülmektedir.
Bu değerler, bağlantı üzerinde geçmişte önemli sayıda sinyal veya iletim hatası oluştuğunu göstermektedir.
Bununla birlikte, bu sayaçların bazıları geçmişten biriken değerler olabilir. Dolayısıyla yalnızca sayacın yüksek olması, hatanın hâlen devam ettiğini kesin olarak göstermez.
Daha sağlıklı bir değerlendirme için komutun belirli aralıklarla tekrar çalıştırılması ve hata sayaçlarının artmaya devam edip etmediğinin kontrol edilmesi önerilir.
Özellikle Invalid CRC Count, Loss of Signal Count ve Link Failure Count değerlerinin artması, fiziksel bağlantı katmanındaki problemin devam ettiğine ilişkin güçlü bir göstergedir.
LINK UP ve LINK DOWN Olaylarının İncelenmesi
Fibre Channel bağlantısı tamamen kopmak yerine zaman zaman kesilip yeniden kurulabilir.
Bu durum Link Flapping olarak adlandırılır.
Bağlantı kararsızlığını incelemek için aşağıdaki komut kullanılabilir:
localcli storage san fc events getÖrnek çıktı:
06:48:54.217 [vmhba4]
Dropped frames on C0:T5:L9 cmd:0x28
06:49:06.167 [vmhba4]
Dropped frames on C0:T5:L68 cmd:0x28
18:51:47.594 [vmhba4] LINK DOWN
19:10:06.014 [vmhba4] LINK UPBu örnekte Fibre Channel bağlantısının belirli bir zamanda kesildiği ve daha sonra yeniden kurulduğu görülmektedir.
Ayrıca Dropped frames kayıtları, iletim sırasında bazı frame’lerin kaybedildiğini göstermektedir.
Bağlantının sık sık LINK DOWN ve LINK UP durumları arasında geçiş yapması, iletişimde kararsızlık bulunduğunu gösterir.
Bu tür durumlarda aşağıdaki bileşenlerin kontrol edilmesi gerekir:
- HBA üzerindeki SFP transceiver.
- SAN switch üzerindeki SFP transceiver.
- Fibre Channel optik kablosu.
- SAN switch portu.
- Fiziksel bağlantıların sağlamlığı ve optik sinyal kalitesi.
HBA Bağlantı Durumunun Kontrol Edilmesi
HBA kartlarının mevcut bağlantı durumunu kontrol etmek için aşağıdaki komut çalıştırılır:
localcli storage core adapter listÖrnek çıktı:
HBA Name Driver Link State
-------- ------ ----------
vmhba4 lpfc link-down
vmhba65 lpfc link-downBu örnekte hem vmhba4 hem de vmhba65 adapterlerinin link-down durumunda olduğu görülmektedir.
Bağlantı durumunun link-down olarak görünmesi, ilgili adapter üzerinden fiziksel bağlantının aktif olmadığını gösterir.
Normal koşullarda sağlıklı bir Fibre Channel bağlantısının link-up durumunda olması beklenir.
Ancak HBA’nın bağlantı durumunun aktif olması tek başına yeterli değildir. SAN zoning, LUN erişimi ve depolama yollarının da doğru çalıştığı doğrulanmalıdır.
HBA Link Down Event Hatasının Temel Nedenleri
Bu hatanın temel nedeni çoğunlukla Fibre Channel SAN altyapısında meydana gelen fiziksel bağlantı problemleridir.
Başlıca nedenler aşağıdaki şekilde özetlenebilir.
7.1. Arızalı SFP Transceiver
SFP transceiver modülleri, Fibre Channel iletişiminin optik sinyal üzerinden gerçekleştirilmesini sağlar.
Arızalanan veya kararsız çalışan bir SFP modülü, bağlantının zaman zaman kesilmesine ya da tamamen devre dışı kalmasına neden olabilir.
Bu durum hem HBA hem de SAN switch tarafındaki uyumlu ve değiştirilebilir SFP modüllerinde oluşabilir.
7.2. Hasarlı veya Sorunlu Fibre Channel Kablosu
Optik kablolarda meydana gelen fiziksel hasarlar, uygun olmayan bükülmeler, kirli konnektörler veya gevşek bağlantılar sinyal kalitesini olumsuz etkileyebilir.
Kablo fiziksel olarak bağlı olsa bile optik sinyalin yeterli kalitede iletilememesi nedeniyle HBA bağlantısı kesilebilir.
7.3. SAN Switch Port Arızası
SAN switch üzerindeki fiziksel portun arızalı olması, portun hata nedeniyle koruma durumuna alınması veya port seviyesinde sinyal problemlerinin bulunması da Link Down Event hatasına yol açabilir.
Bazı switch modellerinde sürekli hata üreten portlar otomatik koruma mekanizmaları nedeniyle devre dışı bırakılabilir.
Bu nedenle ESXi üzerinde yapılan kontrollerin SAN switch logları ve port istatistikleriyle birlikte değerlendirilmesi gerekir.
HBA Link Down Event Hatası Nasıl Giderilir?
Sorunun kalıcı olarak çözülmesi için yalnızca ESXi üzerindeki hata kayıtlarını incelemek yeterli değildir. SAN altyapısındaki fiziksel bağlantı bileşenlerinin de kontrol edilmesi gerekir.
Aşağıdaki adımların sırasıyla uygulanması önerilir.
Adım 1: Sorunlu HBA ve Depolama Yolunu Belirleyin
Öncelikle ESXi sunucusu üzerinde hata veren HBA adapterini tespit edin.
esxcli storage core adapter listArdından Fibre Channel bağlantı durumunu ve istatistiklerini kontrol edin.
esxcli storage san fc stats get -A vmhba4Bu kontroller sırasında özellikle sinyal kaybı, CRC hataları ve bağlantı kesintisi sayaçlarına odaklanın.
Sorunun hangi HBA üzerinde oluştuğu belirlendikten sonra ilgili portun WWPN bilgisi üzerinden SAN switch bağlantısı eşleştirilmelidir.
Adım 2: SAN Switch Üzerindeki Fiziksel Bağlantıyı Kontrol Edin
Hatanın görüldüğü HBA’nın bağlı olduğu SAN switch portu belirlenmelidir.
SAN switch yönetim arayüzü veya komut satırı üzerinden port durumu, optik sinyal kalitesi ve hata sayaçları kontrol edilmelidir.
Özellikle aşağıdaki bulgular önemlidir:
- CRC hataları.
- Loss of Signal olayları.
- Link Failure kayıtları.
- Portun devre dışı veya koruma durumunda olması.
- SFP modülüne ilişkin donanım uyarıları.
ESXi ile SAN switch üzerinde aynı zaman aralığında oluşan hataların karşılaştırılması, arızalı fiziksel bağlantının belirlenmesini kolaylaştırır.
Adım 3: SFP ve Fibre Channel Kablolarını Kontrol Edin
Sorunlu bağlantı tespit edildikten sonra SAN switch veya sunucu donanım üreticisiyle koordineli şekilde fiziksel bileşenler kontrol edilmelidir.
Gerekli görülmesi halinde:
- Fibre Channel kablosu kontrol edilir.
- Fiziksel hasar veya bağlantı problemi bulunan kablo değiştirilir.
- HBA veya switch tarafındaki arızalı SFP transceiver değiştirilir.
- Sorunun devam etmesi halinde bağlantı farklı ve sağlıklı bir switch portu üzerinden test edilir.
Bu işlemler gerçekleştirilirken aktif depolama bağlantılarının kesilmemesine dikkat edilmelidir.
Özellikle birden fazla bağlantıda problem yaşanan ortamlarda fiziksel müdahaleler bakım planı kapsamında yapılmalıdır.
Adım 4: SAN Switch Hata Sayaçlarını Temizleyin
Arızalı fiziksel bileşen onarıldıktan veya değiştirildikten sonra SAN switch üzerindeki hata sayaçları temizlenebilir.
Ancak hata sayaçları temizlenmeden önce mevcut değerlerin ve ilgili logların kaydedilmesi önerilir.
Sayaçların temizlenmesi, eski hatalar ile onarım sonrasında oluşabilecek yeni hataların birbirinden ayrılmasını sağlar.
Hata sayaçlarının temizlenmesi tek başına sorunu çözmez. Bu işlem, fiziksel arıza giderildikten sonra bağlantının sağlıklı çalışıp çalışmadığını doğrulamak amacıyla kullanılmalıdır.
Adım 5: SAN Switch Portunu Yeniden Etkinleştirin
Bazı SAN switch modellerinde fiziksel bağlantı hatası nedeniyle port koruma durumuna alınabilir.
Fiziksel sorun giderildikten sonra donanım üreticisinin önerdiği yöntemle ilgili port tekrar etkinleştirilmelidir.
Bu işlem bazı platformlarda unfence veya portun yeniden etkinleştirilmesi olarak adlandırılır.
Uygulanacak komut ve yöntem, SAN switch üreticisine ve kullanılan işletim sistemi sürümüne göre değişiklik gösterebilir.
Adım 6: ESXi Üzerinde Bağlantının Düzeldiğini Doğrulayın
Fiziksel müdahaleler tamamlandıktan sonra ESXi üzerinde HBA bağlantısı tekrar kontrol edilmelidir.
esxcli storage core adapter listSorunlu HBA’nın link-up durumuna döndüğü doğrulanmalıdır.
Ardından depolama yolları kontrol edilmelidir.
esxcli storage core path listBelirli bir depolama aygıtı için:
esxcli storage core path list -d naa.XXXXXXXXBu kontrollerin ardından:
- Depolama yollarının yeniden erişilebilir olduğu.
- İlgili datastore’lara erişimin sağlandığı.
- Yedeklilik uyarılarının giderildiği.
- Fibre Channel hata sayaçlarında yeni artış yaşanmadığı.
vmkernel.logiçerisinde yeni Link Down Event hatalarının oluşmadığı.
doğrulanmalıdır.
Fiziksel bağlantı sağlıklı hale geldiği halde depolama yolları geri dönmüyorsa SAN zoning, storage LUN masking, HBA firmware ve driver uyumluluğu gibi diğer bileşenler ayrıca incelenmelidir.
Dikkat Edilmesi Gereken Önemli Noktalar
HBA bağlantı sorunları doğrudan depolama erişimini etkileyebileceğinden müdahale sırasında dikkatli hareket edilmelidir.
Özellikle üretim ortamlarında aşağıdaki konular önem taşır:
- Sorunlu HBA bağlantısına müdahale edilmeden önce alternatif depolama yollarının sağlıklı çalıştığı doğrulanmalıdır.
- Fiziksel bağlantı değişiklikleri mümkün olduğunca planlı bakım kapsamında gerçekleştirilmelidir.
- Sorunun kaynağı belirlenmeden ESXi sunucusunun yeniden başlatılması ilk çözüm yöntemi olarak tercih edilmemelidir.
- HBA reset veya SAN switch portunun devre dışı bırakılması gibi işlemler mevcut depolama erişimini etkileyebileceği için kontrollü uygulanmalıdır.
- Hata sayaçları ve log kayıtları, donanım üreticisine iletilmek üzere saklanmalıdır.
- Donanım değişikliği sonrasında bağlantı kararlılığı belirli bir
Bu yaklaşım, sorunun giderilmesi sırasında yeni bir depolama kesintisi yaşanma riskini azaltır.
VMware ESXi ortamlarında karşılaşılan HBA Link Down Event, LOOP DOWN detected ve benzeri Fibre Channel bağlantı hataları, depolama altyapısının erişilebilirliğini doğrudan etkileyebilen önemli problemlerdir.
Fiziksel Fibre Channel kablolarının bağlı olması, bağlantının sağlıklı çalıştığını garanti etmez. Arızalı SFP transceiver, hasarlı optik kablo veya sorunlu SAN switch portu nedeniyle bağlantı kesintileri meydana gelebilir.
Bu tür sorunlarda doğru yaklaşım; öncelikle ESXi loglarının incelenmesi, HBA hata sayaçlarının analiz edilmesi ve Fibre Channel bağlantısının kararlılığının değerlendirilmesidir.
Özellikle Loss of Signal Count, Invalid CRC Count ve Link Failure Count değerlerinin izlenmesi, fiziksel bağlantı problemlerinin belirlenmesinde önemli bilgiler sağlar.
Sorunun fiziksel katmandan kaynaklandığı doğrulandığında SAN switch veya donanım üreticisiyle birlikte gerekli bileşenlerin kontrol edilmesi ve değiştirilmesi gerekir.
Arıza giderildikten sonra HBA bağlantısının link-up durumuna döndüğünün, depolama yollarının yeniden erişilebilir olduğunun ve hata sayaçlarının artmadığının doğrulanması, kalıcı çözüm açısından kritik önem taşır.
Doğru log analizi ve sistematik sorun giderme yaklaşımı sayesinde Fibre Channel bağlantı problemleri daha kısa sürede tespit edilebilir ve VMware sanallaştırma altyapısındaki depolama erişimi daha güvenilir hale getirilebilir.
