Cisco FC

Fibre channel är ett data transport protocol som ger in-order och lossless transfer av blockdata. FC lämpar sig bra för block based storage. Se även Cisco FCoE.

Termer

pWWN/WWPN: 64-bitars portadress på HBA (typ MAC-adress fast finns ej i data plane)
nWWN/WWNN: 64-bitars HBA-adress
sWWN: Switch WWN
Sequence: en eller flera data frames som hör ihop (SEQ_ID) och skickas i en enkelriktad ström mellan två N ports
FCID: Logisk adress
Principal switch: har bl.a. hand om domain ID distribution och RSCN, finns en per SAN
FCNS: Fibre Channel Name Server (typ DNS), körs på den utvalda Principal switch
RSCN: Registered State Change Notification är en tjänst som N ports kan subscriba på för att få uppdateringar om vad som händer i fabricen
FSPF: Fabric Shortest Path First är det routingprotokoll som körs i fabricen (motsvarighet till OSPF för IP)

Layers

FC-0: physical layer
FC-1: enconding and error control
FC-2: signaling protocol med frame structure och byte sequences
FC-3: vilka services finns i fabricen, t.ex. time distribution och säkerhet
FC-4: Mappning mellan FC och det som körs ovanpå, t.ex. SCSI eller IP

Initiators och targets har Host Bus Adapters (HBA), dessa kallas Node Ports. N ports kopplas till Fabric Ports (F ports) på FC-switcharna. Switchportar som kopplas ihop med varandra kallas Expansion (E) Ports, det är på dessa som FSPF körs. Default räknas FSPF cost: 1000 delat med link speed i Gbps, t.ex. 10G = 100. FSPF har default stöd för ECMP. Har man t.ex. Ciscoswitchar finns det stöd för VSAN (motsvarigheten till VLAN + VRF) kan man trunka dem över dessa E ports, då kallas det Trunking Expansion Ports (TE Ports).

Det första som händer när man kopplar in en server är att den skickar en Fabric Login (FLOGI). Detta görs till FFFFFE (well-known fibre channel address for a fabric F_Port). Switchen tar emot detta meddelande och registrerar denna unika WWPN med FCNS. FCNS svarar tillbaka med en unik 24-bitars Fibre Channel Identifier (FC_ID eller N_Port_ID). FCID består av Domain ID, Area ID, Port ID och är routbar inom FC-domänen. Varje switch har ett eget domain ID som måste vara unikt i fabricen, detta går att konfa manuellt och börjar då gälla när man startar om processen (fcdomain restart). När en initiator har fått ett FCID så skickar den Port Login (PLOGI). Detta görs till FFFFFC (well-known fibre channel address for a directory server). Då registreras WWPN och det assignade FCID till FCNS. FCNS svarar då tillbaka med FCID:n för de targets som initiatorn har rätt att accessa enligt zoningpolicyn. När PLOGI är klart kan initiatorn börja sin discovery process för att hitta targets och deras capabilities och operating parameters. Detta görs mellan upper layer protocols och kallas PRLI. Sedan kan man hitta Logical Unit Numbers (LUNs).

FLOGI-databasen är alltså locally significant inom switchen. Där finns endast WWPN och FCID:n för de directly connected initiators och targets. FCNS-databasen är distribuerad över alla switchar i fabricen och där finns alla nåbara WWPN och FC_ID:n.

Eftersom FC är lossless data transport så finns det inbyggd flow control mekanismer. Detta är credit-based vilket betyder att mottagaren alltid kontrollerar flödena och sändaren får endast skicka data om den vet att mottagaren har tillräckligt med resurser för att ta emot det. Man berättar för andra sidan hur mycket buffer som finns tillgängligt (BB_Credit) och sändaren räknar sedan hur mycket som har skickats (BB_Credit_CNT). Counten får ej överstiga BB_Credit. Varje gång en buffer blir ledig så skickas ett R_RDY message över till sändaren som då sänker BB_Credit_CNT. Detta görs hela tiden mellan alla portar i fabricen.

Zoning
En zone är en samling N ports i fabricen som känner till varandra men inget utanför zonen, ett slags VPN. Detta används för att få storage access control. Varje medlem kan definieras av port på switch, WWN, FCID eller ett operator configured alias. Zoning kan göras på två olika sätt, soft och hard zoning. Soft betyder att members endast ser varandra i name server queries medans hard görs med "ACL:er" i hårdvaran i hela fabricen. Nuföritden finns endast hard zoning.

En eller flera zoner kan aktiveras som en grupp och kallas då zone set. En fabric kan ha flera zone sets men endast en kan vara aktiv åt gången. För att ha hand om detta finns det en Zone Server.

VSAN
Med virtuella SAN kan man köra flera SAN i samma hårdvara. VSAN är en emulering av en FC fabric, dvs man partitionerar upp sitt SAN. Varje VSAN kör sin egen Name Server, Zone Server, Login Server etc. VSAN Manager är en NX-OS process som håller koll på VSAN attribut och porttillhörighet. Alla portar på en Cisco-switch ligger default i VSAN 1. Man kan förlänga VSAN genom att trunka dem över E ports, som då kallas TE_port. Alla frames taggas då med en VSAN header. Det går även att aggregera länkar som trunkar VSAN. FSPF cost ändras inte när en member i en port-channel går ner. Man kan låta PCP agera kontrollprotokoll för länkaggregeringar likt LACP för ethernet. Man kan modifiera MTU per VSAN, det kommer att förhandlas vid FLOGI.

Zoning är en central del i FC, det är access control i fabricen. Ett zoneset är en eller flera zones. Zone-rekommendation är single target, single initiatior och att man använder pwwn eller alias. Det kan vara bra att känna till att vissa system är case sensitive när det gäller WWN:er. Hard zoning går ej att stänga av på Nexus.

zoneset name PROD-A vsan 100
 zone name Server1-to-SAN
  member pwwn 10:00:00:23:45:00:00:10
  member pwwn 10:00:00:23:45:00:00:20

zoneset activate name PROD-A vsan 100

Show

show zone status vsan 100
show zoneset active

Permit all

zone default-zone permit vsan 100

Enhanced Zoning
Gör att varje gång man konfar det så låses konfen fabric wide av CFS. Om t.ex. ett vsan isoleras på en länk kolla att zoning mode överenstämmer (tänk VTP).

zone mode enhanced vsan 100
zone confirm-commit
zoneset overwrite-control vsan 100
zone commit vsan 100

Verify

show zone status vsan 100

Man kan även distribuera sitt zoneset över fabricen

zoneset distribute full vsan 100

Smart Zoning
För att förenkla sin konfig lite kan man använda taggar för att ange vilka pwwn som är initiators kontra targets. Detta måste vara påslaget på alla switchar i fabricen.

zone smart-zone enable vsan 100
zone convert smart-zone vsan 100

ACLTCAM usage MDS

show system internal acl tcam-usage
show system internal acltcam-soc tcam-usage

Alias
Man bör använda alias för att förenkla zonhantering och felsökning. Även detta kan distribueras mha CFS, det kallas då enhanced device aliases och valfri nod kan göra ändringar som propagerar genom nätet.

device-alias mode enhanced 
device-alias database
 name Server1-HBA1 pwwn 00:11:11...
 name SAN-Array1-port1 pwwn 00:22:22...

device-alias commit 
show device-alias status

Zone Merge
Om man ska koppla ihop två SAN kan man skydda sig mot felkonfad zoning genom att ställa merge-control till restrict. Kopplar man ihop två SAN med olika zonesets blir ISL:en isolated för de vsan som har mismatch.

zone merge-control restrict vsan 100

Port Security

FC Port Security är utökad säkerhet jämfört med zoning, man låter inte ens obehöriga logga in i fabricen. Login requests från obehöriga FC devices (Nx ports) och switchar (xE ports) nekas. Alla nekade inloggningsförsök loggas genom system messages. Man kan använda pWWN, nWWN eller sWWN för att vitlista vem som får vara med i fabricen. Konfigurationen går att distribuera med hjälp av CFS, det är dock avstängt default.

Man kan även låta switcharna lära sig port security konfigurationen automatiskt över tid. Detta kan man använda när man aktiverar port security första gången eftersom det sparar arbete genom att man inte måste gå igenom alla portar manuellt, detta konfas per VSAN. När man aktiverar port security så aktiveras auto-learn automatiskt.

feature fc-port-security
fc-port-security activate vsan 1

Lock vsan for new entries

no fc-port-security auto-learn vsan 1

Diff

fc-port-security database diff active vsan 1

Verify

show fc-port-security status
show fc-port-security database active
show fc-port-security database config
show fc-port-security violations

CFS

fc-port-security distribute

NPV

N-Port Virtualisation är en teknik för att öka skalbarhet och simplicitet i FC-SAN. Man låter en enskild fysisk N_Port ha multipla WWPN. NPV-enheten gör en FLOGI och sedan kan den registrera fler WWPN och då få fler N_Port_ID. En NPV-enhet har F-portar downstream och NP-port upstream. En NPV-switch kopplas till F-port i SAN. HBA:er märker inte av NPV.

Det finns ingen funktionell skillnad mellan fysiska WWPN och virtuella, man använder dem för zoning och LUN masking som vanligt. Däremot gör man ingen zoning i NPV-enheten, den har ingen preferens i frågan utan slussar bara vidare inlogg till ovanliggande switch. Notera att ovanliggande switch måste ha NPIV enableat. Nested NPV är inte möjligt. Notera att "feature npv" kräver en write erase och reload.

feature fcoe-npv
feature npv

Ovanliggande switch

feature npiv

Navigation menu

Cisco FC

Contents

Konfiguration

Zoning

Port Security

NPV