Köpa NAS?

[Nerre]

Idag löser man ju det genom att köra med UUID istället. (Fast det kan ställa till andra problem...)

Linux MD-stöd borde identifiera diskarna rätt oavsett vilken plats de sitter på (jag kan prova att byta plats på dem).

[Nerre]

Nu har jag kommit så långt att det var dags att installera GRUB. Den föreslog bara att installera i MBR på första disken, så jag körde manuellt och installerade i MBR även på disk två. Tydligen är installationsprogrammet inte smart nog att klura ut det.

Nu kom jag att tänka på att jag såg nåt trix om att man måste lura GRUB att disk 2 är disk 1 för att det ska bli rätt även där... Vi får se hur det går vid boot:)

[lillahuset]

Jag har fått rådet att sluta med /dev/sd och börja använda UUID. Jag har inte följt rådet men det kanske är bra i vissa fall, som ditt tex.

Edit: Sent ute...

[Nerre]

Jag provade nu att koppla bort Disk1, då startade den snällt från enbart Disk2 (och informerade om att volym md0 var startad med bara en av två diskar).

Jag skapade en ny tom disk (Disk3) och anslöt, men den hamnade då på SATA plats 0 (där Disk1 satt förut) och då bootade den inte. Provade att sätta Disk2 på plats 0 och Disk3 på plats 1 och då bootade den. Nu ska vi se hur man talar om att den nya disken ska ingå i arrayen... Jag har aldrig kört mdadm förut:)


Ok, tre saker gjorde jag:

1. Kopierade partitionstabellen från Disk2 till Disk3 med "sfdisk -d /dev/sda | sfdisk /dev/sdb"
2. La till den nya disken i arrayen med "mdadm --manage /dev/md0 --add /dev/sdb1"
3. La in GRUB i MBR på den nya disken med "grub-install /dev/sdb"

Vänta tills replikeringen var klar (kollade status med "cat /pros/mdstat").

Shutdown, koppla bort Disk 2, boota. Tada! Maskinen uppe på enbart den nya disken, varken Disk1 eller Disk2 inkopplade.

Det enda luriga är alltså att om man sätter dit en ny disk så kan den inte sitta först, eftersom BIOS bara kollar första diskens MBR (om man nu inte säger åt BIOS att boota från disk 2 förstås). Eftersom den jobbar med UUID så spelar det ingen roll i vilken ordning diskarna sitter, de autodetekteras snyggt ändå. Jag flyttade ju Disk2 till plats 0 (där Disk1 satt från början) och det fungerade.

Trycker jag F12 vid boot (VirtualBox boot-meny) så kan jag välja att boota från disk 2 (jag provade precis att skapa en ny tom Disk4 och ansluta till SATA plats 0 och sen välja att boota från disk 2).

[sodjan]

> (om man nu inte säger åt BIOS att boota från disk 2 förstås)

Kan du/man ange flera diskar? Så att man inte behöver ändra
oavsett vilken disk som man behöver byta? Funkar inte första
disken (i listan) så tar den nästa o.s.v.

> Ok, tre saker gjorde jag:

Där jag jobbar är det samma sak, förutom att man enbart
behöver göra steg 2 av dina tre steg.

Hur många diskar kan du lägga till till samma md device?

[Nerre]

Jag har inte kollat hur BIOS i VirtualBox ser ut när det gäller att söka av flera enheter efter bootbar kod... Men det är mycket möjligt att det går att säga åt den att testa igenom en disk i taget.

Kopiera partitionstabellen behöver man bara om man har använt en partition som fysisk enhet. Jag tror att man även kan använda hela disken som fysisk enhet (men det gjorde inte jag, jag skapade partitioner först när jag skulle installera, men det kanske man inte hade behövt).

Det är ju en RAID1 och då går det väl inte att ha mer än två diskar?

Sen var ju poängen här att kolla hur det fungerade med boot, inte kolla vad linux SW-RAID har för finesser. Som jag skrivit så så fort Linux-kerneln ligger i minnet och kan börja exekveras så har den ju fullt RAID-stöd. Det går ju t.o.m. att köra LVM ovanpå RAID om man vill.

Så man kan ha 10 diskar. 5+5 i varsin RAID5-array, sen kör man dessa två RAID5-enheter som fysiska volymer till LVM, och sen kan man då ha hur många logiska volymer man vill från LVM (och dessa kan man ändra storlek på i princip helt dynamiskt, dock gäller det ju att man har ett filsystem som det går att ändra storlek på).

LVM är otroligt smidigt ur den synvinkeln, och sen att köra det ovanpå RAID5 ger då redundans.


En sak som slog mig: Har man en NAS med SW-RAID så bootar den kanske från internt FLASH ändå, då spelar det ingen roll om det ligger nån bootsektor på diskarna eller inte.

[sodjan]

> Det är ju en RAID1 och då går det väl inte att ha mer än två diskar?

6 diskar i mitt fall. Det var 3 diskar tidigare men utökades till
6 diskar för några år sedan. Varför skulle det vara begränsat till 2?

> Sen var ju poängen här att kolla hur det fungerade med boot,

Jo visst, men en stor del av meningen med RAID1 går ju förlorad om
inte systemet bootar automatiskt på vilken som helst av diskarna, då
måste i alla fall någon vara där och konfigurera.

> En sak som slog mig: Har man en NAS med SW-RAID...

Det blir en väldig begreppsförvirring här... För mig som sitter
på min Windows (t.ex.) maskin och kör mot NAS'en, så är det ju
alltid HW-RAID, helt oavsett hur NAS burken fungerar internt...

[Nerre]

RAID1 är ju spegling, du kan bara spegla mellan två diskar.

Kör du 6 diskar så måste du väl i såna fall ha 3 RAID-volymer med två diskar vardera?


Visst är det sant att det blir lite besvärligare att boota med SW-RAID om den första disken har rykt, annars skulle HW-RAID inte fungera.


Bootar din Windows-maskin från NAS-enheten alltså? Annars förstår jag inte vad du vismar om?


Det jag pratat om hela tiden är ju att så fort Linux-kerneln ligger i minnet så fungerar SW-RAID utmärkt, med autodetektering av ingående diskar etc. Kruxet med SW-RAID är att vid boot få in kerneln i RAM. Men om maskinen bootar från flash så läses ju kerneln från flash istället för från RAID-volymen, därmed finns inte boot-problemet där.

I det här fallet verkade det dock vara begräsningarna i VirtualBox som ställde till det, jag hittade inget sätt att ställa in bootföljden där utan om första disken inte var bootbar så var man tvungen att trycka F12 och välja att boota från disk 2. Men på en fysisk dator har man antagligen inte samma problem.

[sodjan]

> RAID1 är ju spegling, du kan bara spegla mellan två diskar.

Varför det? Märkligt begränsning. Sannolikt bara missförstånd.

> Kör du 6 diskar så måste du väl i såna fall ha 3 RAID-volymer med två diskar vardera?

Nej, det är 6 speglade diskar som alla är lika. Från "Volume Shadowing for OpenVMS":

OpenVMS Version 8.4 supports six-member shadow sets as compared to the previous
three-member shadow sets. This is useful for multisite disaster tolerant configuration. In a
three-member shadow set, a three-site disaster tolerant configuration has only one shadow
member per site. In this scenario, when two sites fail, the member left out in the surviving site
becomes a single point of failure. With six-member shadow set support, you can have two
members of a shadow set in each of the three sites providing high availability.

Ett exempel ur samma manual:

Kod: Markera allt

DS10 $ SHOW DEV DSA5678:
Device                  Device         Error Volume        Free  Trans Mnt
 Name                   Status         Count Label        Blocks Count Cnt
DSA5678:                Mounted            0 SIXMEMBER    682944     1   1
$6$DKB0:      (WSC236)  ShadowSetMember    0 (member of DSA5678:)
$6$DKB100:    (WSC236)  ShadowSetMember    0 (member of DSA5678:)
$6$DKB200:    (WSC236)  ShadowSetMember    0 (member of DSA5678:)
$6$DKB300:    (WSC236)  ShadowSetMember    0 (member of DSA5678:)
$6$DKB400:    (WSC236)  ShadowSetMember    0 (member of DSA5678:)
$6$DKB500:    (WSC236)  ShadowSetMember    0 (member of DSA5678:)
DS10 $

DSA5678: motsvarar din "/dev/md0" disk och de sex DKBnnn motsvarar dina "/dev/sd.." diskar.
I detta fall 6 olika lokala SCSI diskar som alla ingår i samma shadow-set. Inget konstigt.
Det skulle också kunna vara diskar i tre olika datahallar eller datacenter.

Två diskar är nog vanligast men även tre för att behålla redundans om en disk kraschar. Eller för
att ta backup (montera bort en disk, ta backup på den off-line och montera tillbaka den).
Med "montera" avses så klart inte fysiskt utan MOUNT och DISMOUNT kommandona.

> Visst är det sant att det blir lite besvärligare att boota med SW-RAID om den första disken
> har rykt, annars skulle HW-RAID inte fungera.

Nja, om diskarna är lika så borde vilken som helst av dom boota.

> Bootar din Windows-maskin från NAS-enheten alltså? Annars förstår jag inte vad du vismar om?

Nej, men från min klient så upplevs diskarna som NAS enheten presenterar som
en enskild disk. Inget i programvaran *i min klient* som har med det att göra.
Alltså upplevs det som en HW-RAID *från min klient*. Om det sker via en
speciell RAID-adapter i samma maskin eller någon annanstans spelar ingen roll.

För NAS burken i sig kan det däremot vara relevant att tala om SW-RAID. Det
var det jag menade med att det lätt blir lite begreppsförvirring... Det som är
SW på ett ställe (i NAS burken eller i en adapter) kan vara HW på att annat.

> Men på en fysisk dator har man antagligen inte samma problem.

Man får hoppas det. En stor del av meningen med shadowing förloras ju om
inte maskinen kan boota automatiskt oavsett vilken disk som faller ur. Klart
det inte ska behövas manuella ingrepp.

[Nerre]

Efter en massa googlande så har jag nu sett att RAID1 tydligen KAN köras med fler än två diskar (man får ökad läsprestanda), det går också med MD under Linux, trots att jag vid installationen fick veta att jag måste välja exakt två partitioner för min array. Men i efterhand går det alltså att lägga till fler.

Men jag var uppenbarligen inte ensam om att ha fått bilden att RAID1 består av två speglade diskar, det var väldigt många kommentarer i trådarna jag hittade som sa "det går inte", "RAID1 måste vara jämnt antal diskar" och en massa liknande kommentarer:)

Ex.
http://ubuntuforums.org/showthread.php?t=825205


Nu hann du komma mellan med en kommentar medans jag skrev. Det här med boot med SW-RAID handlar ju om att RAID-volymen inte finns förrän kerneln körs, och bootsektorn ingår inte i RAID-volymen. MD-stödet speglar ju bara det som ligger i RAID-volymen, inte hela disken.

För system som inte är beroende av bootsektorn för att starta spelar detta inte nån roll, men på en PC behövs bootsektorn för att starta.


För din klient så ser väl NAS-driven inte alls ut som en RAID? Den ser väl ut som vilken disk som helst? Din klient ser inte att det körs RAID inuti.

[sodjan]

Ljuset kommer till flera...

Och visst är den en fördel om OS'et kan fördela läs-I/O över
flera diskar, allt går ju snabbare. Och det finns ju inget tekniskt
hinder mot att skriva till tre eller fler diskar. Beroende på hur
det görs så påverkas inte heller skriv-I/O speciellt mycket.
Det tar inte tre gånger så lång tid att skriva till tre diskar
om det sker parallellt.

Och ja, jag kan se att det blir problem om man inte speglar
hela diskar/volymer så att *allt* kommer med, så som det
tydligen görs i en del miljöer.

[sodjan]

> För din klient så ser väl NAS-driven inte alls ut som en RAID? Den ser väl ut som
> vilken disk som helst? Din klient ser inte att det körs RAID inuti.

Exakt! Det är just det som *är* HW-RAID, att det inte syns från SW, så att säga.
Men man måste vara noggrann med varifrån man tittar.

För min klient spelar det ingen roll om NAS burken har en singel disk (utan
någon RAID alls) eller 4 diskar i en RAID-5. Det är just så med HW-RAID,
OS'et ser igen skillnad.

[Nerre]

Man får hoppas det. En stor del av meningen med shadowing förloras ju om
inte maskinen kan boota automatiskt oavsett vilken disk som faller ur. Klart
det inte ska behövas manuella ingrepp.

Det är ju bara om disken är helt död eller MBR är kraschat. Så länge MBR finns kvar så är ju disken bootbar även om den i övrigt är att anse som "trasig". I mitt fall så fungerade det att boota även fast disken var markerad som "failed", det var när jag kopplade bort den som boot inte fungerade. Och för att koppla bort en fysiska disk måste man ju vara vid maskinen, då gör det inte så mycket att det råkar krävas ett par tangentbordstryck för att boota om man behövt byta den första disken.

[säter]

Intressant diskussion ni för.

Dessa Synology NASar som prisas här, klarar dessa ett diskbortfall utan manuell handpåläggning?

På min gamla NW-server är just detta ett problem.
Ibland krävs manuell reparation av mjukvaran.

[superx]

Nej, man måste välja vad som ska hända. NASen kan inte veta om den nya disken ska användas för att ersätta den trasiga, ingå i en annan volym, användas för backup etc.

Vill man ha snabbast möjliga byta när en disk pajar får man sätta upp en s.k. hot spare som ligger och väntar på att kopplas in i fall någon disk går sönder.