Ny verkstad och kontor

Berätta om dina pågående projekt.
MiaM
Inlägg: 9912
Blev medlem: 6 maj 2009, 22:19:19

Re: Ny verkstad och kontor

Inlägg av MiaM »

Blir prestandan bättre av att ha separata maskiner för VMWARE-host respektive filserver?

Tänker att om det är möjligt att få in allt RAM du tänkt använda i en enda maskin så kanske det blir snabbare?

Däremot om du tänkt använda mer RAM än vad som ryms i en enda maskin så blir det nog snabbare med två maskiner.

Gigabit ethernet är ju annars en bra bit långsammare än vad hastigheten mellan RAM och CPU är i en maskin, så allt som ligger i cache på vad som blir filservern kommer ta längre tid att nå via nätverk än om allt körts i samma maskin. (Det går ju att ha en del cache i VMWARE-maskinen men där ska ju de virtuella maskinerna konkurrera om minnet).

Fast med videoredigering rör det väl sig kanske ändå om så stora datamängder och relativt linjärt flöde av större klumpar att cache spelar mindre roll?

Bonusfråga på detta: Berättar applikationerna att de kommer göra en linjär access och sen inte accessa datan på länge, eller får operativsystemet göra en (inte särskilt bra) gissning här?

Minns att ett klassiskt problem förr var att spela MP3-filer från lokal hårddisk på Windowsmaskiner och när musiken spelade så fylldes diskcache med den musik man just lyssnat på, så att maskinen blev seg som sirap. Tror inte det gick att på nåt sätt begränsa mängden cache som tilldelas en viss applikation och/eller viss plats i filstrukturen och/eller en viss disk. Skitdumt.
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

Jag har inte gjort någon prestandatest när det gäller att köra filservern på en egen server kontra att ha den som en virtuell maskin. Beslutet att dela upp dem är baserat på andra faktorer.
Ett viktigt skäl är att en del av de virtuella maskinerna kommer vara lagrade på filservern, den kommer med andra ord att dela ut en del av diskutrymmet till VMWare-hosten. Om den själv är en virtuell maskin så skapar det beroenden som kan göra uppstart och nedstängning lite mera omständligt.

Sedan har dessa två servrar två stycken 10GB nätverksportar, så tanken är att ha tre nätverk på filservern - ett som är ett vanligt 1GB nätverk som alla "vanliga" klientmaskiner använder, ett 10GB storage nätverk som används av maskiner som har 10GB kort (det är i praktiken VMWare-hosten och eventuellt i framtiden redigeringsmaskinen) och slutligen ett 10GB nätverk som bara används mellan dessa två servrar för lagringen av de virtuella maskinerna. Det är med andra ord nog diskarna i sig som kommer att sätta begränsningen i överföringshastighet, inte förbindelsen i sig.

Det ska också sägas att filservern är planerad att användas för långtidslagring, inte för redigeringsarbetet i sig. Jag har i dagsläget ett antal hyrda servrar i en serverhall, däribland två stora filservrar som speglar varandra, och en primär uppgift för min nya filserver är att ha en lokalt replikerad kopia på dessa. Visserligen står de i varsin hall i två olika städer i Frankrike, men då de hör till samma konto så skulle ett problem med leverantören (som är OVH, kända för att vara billiga men helt automatiserade, så ingen direkt service) kunna stänga båda samtidigt.

Men jag har en plan på att eventuellt sätta ett 10GB kort i redigeringsmaskinen för att kunna arkivera filer med högre hastighet. Problemet är bara att alla expansionsplatser redan är upptagna, bland annat med M.2 hårddiskar. Och jag vill ju ha så mycket och så snabb lokal lagring som möjligt på den maskinen...
Användarvisningsbild
Lennart Aspenryd
Tidigare Lasp
Inlägg: 12607
Blev medlem: 1 juli 2011, 19:09:09
Ort: Helsingborg

Re: Ny verkstad och kontor

Inlägg av Lennart Aspenryd »

Väldigt intressant utveckling! Vad skall det stanna på när allt går med blixtens fart!.
Riktigt imponerande och kul att följa.
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

En sak har jag lärt mig - dataöverföring kan aldrig bli för snabb. Det tar inte lång tid att vänja sig vid supersnabba SSD diskar, och sedan känns allt annat väldigt långsamt... :D
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

Efter att ha använt en inte obetydlig del av dagen att få tag i paketen med de nya servrarna från UPS (tips för andra; stora och tunga paket ska man inte be att få hämta hos ombud, trots att det är möjligt att välja det i deras onlineverktyg, de hamnar högst sannolikt inte där) så fick jag till slut möjlighet att installera dem. Åtminstone fysiskt - mjukvaran får vänta då klockan blev för mycket.

Här är de två paketen som inte kunde lämnas hos det valda ombudet:
Servrar_1.jpg
Första servern är det som kommer att bli filserver. Det är en Dell R620:
Servrar_2.jpg
Den är bestyckad med en E5-2630L processor och 96 GB RAM. Fördelen med att köpa begagnade servrar är att man ofta får med remote management funktionen, så man behöver inte koppla in monitor, keyboard och mus för att kunna göra BIOS-inställningar och installera mjukvara. Det kan, hos vissa tillverkare, annars kosta en del extra. Utöver det så är den kompletterad med ett RAID kort, ett nätverkskort med 2x 1GB och 2x 10GB och några hårddiskar:
Servrar_3.jpg
Servrar_4.jpg
Den andra servern, som också är en Dell R620, är utrustad med 2 st E5-2650 V2 processorer och 256 GB RAM. Liksom den första har den remote management, RAID och 4 nätverksportar. Och några hårddiskar (finns plats för 8 st 2,5" diskar i dessa chassien):
Servrar_5.jpg
Jag köpte till rackskenor till maskinerna, eftersom det gör det enormt mycket lättare att arbeta med dem:
Servrar_6.jpg
Vilket gav utdelning direkt eftersom jag glömt att sätta i SAS-kontrollerkortet i filservern (som skall koppla ihop den med diskchassiet). Bara att dra ut den, och montera i kortet i den enkelt löstagbara hållaren:
Servrar_7.jpg
Och så här ser det ut när alla tre maskinerna är monterade:
Servrar_8.jpg
Tyvärr kunde inte diskchassiet monteras med skenor, då dessa inte fysiskt passade i mitt rack. Men då den inte innehåller speciellt mycket elektronik så är det väl inte så ofta man behöver ta ut den hoppas jag...

Sedan tidigare hade jag köpt några begagna UPS-förbikopplare. Dessa monterade jag in ovanför UPS'en (syns i förra bilden under servrarna), och tanken när de är inkopplade är att man kan koppla förbi UPS'en om man av någon anledning skulle behöva det. Lär inte vara så ofta det behövs, men värt de dryga 200 kronor som jag betalade för båda två inklusive frakt. De fungerar ju dessutom som grenuttag:
UPS_Switch_1.jpg
UPS_Switch_2.jpg
Tanken är att den ena används för allt som är på 24/7 (servrar, switchar mm), medans den andra används för det som senare kommer styras av mina styrbara grenuttag.

Nästa steg blir väl att koppla in dessa nya maskiner, och se hur mycket de låter... :?
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
Zhorts
Inlägg: 217
Blev medlem: 15 augusti 2011, 14:42:03

Re: Ny verkstad och kontor

Inlägg av Zhorts »

Nu börjar det ju se ut på riktigt! :)

Nackdelen med UPS bypass som du har är ju att det blir en till komponent i den kritiska kedjan som kan gå sönder... Redundanta PSUer är väl egentligen enda lösningen på det?

Själva hårddiskarna i den burken kommer du väl åt framifrån, så där är ju inte access särskilt nödvändigt, nej. Kan bli intressant att se om en M2 SSD lyckas saturera en 10 Gbps-lina... De senaste ska ju komma upp i över 2500 MBps läshastighet.
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

Visst är UPS bypass en extra felkälla, men den är helt manuell och dess enda innehåll är en strömbrytare och säkringar för de uttagsgruppee vars kontakter är 10A (eftersom ingången är 16A). Så de bör inte haverera så enkelt.

M.2 diskarna borde absolut kunna fylla kapaciteten på en 10GB lina, förutsatt att enheten i den andra änden kan leverera eller ta emot med samma hastighet. Något jag kan få svårt att testa då jag inte har någon annan enhet med 10GB kort och M.2 diskar... Diskarna är hur som helst snabba, faktiskt upp till 3500 MByte per sekund i läshastighet är några av de specificerade som!
MiaM
Inlägg: 9912
Blev medlem: 6 maj 2009, 22:19:19

Re: Ny verkstad och kontor

Inlägg av MiaM »

Redundanta nätagg förutsätter att redundansen också funkar. Min HP DL380 G7 som jag har som hemmaserver har dubbla nätagg, kopplade i varsitt vägguttag som går på varsin fas. Jag har råkat ut för att en huvudsäkring gått och servern gått ned och jag dessutom varit tvungen att dra ur båda nätsladdarna ett ögonblick för att den skulle vilja starta. Tror den står på typ hot-standby snarare än att båda ska vara igång samtidigt, vilket kanske kan förklara det hela. Kan ju tycka att det är märkligt om inte ett nätagg ska hinna starta snabbt nog för att ta över när strömmen till det andra dör dock. Reservation för eventuella märkliga underspänningar som uppstår när en huvudsäkring går och ström leds genom laster som är kopplade mellan faserna, såsom t.ex. elpatroner och liknande.

Undrar förresten vad reglerna säger om säkring eller inte med de där kontakterna? De gamla svenska reglerna var ju 6A på lilla och 10A på stora kontakten, och nu 10A respektive 16A. Men vi får ju också numera ha 16A i ett vanligt schuko och kablar får ju vara övergång från schuko till lilla apparatkontakten. Min slutsats är att det borde egentligen inte behövas säkringar i den där lådan.

P.S. hoppas du dubbelkollat så att den inte råkar vara avsedd för USA-marknaden? Då kan den vara farlig dels att växla med strömmen på och dels om säkringarna går, pga större spänning att hålla liv i en gnista.
danielr112
Inlägg: 8044
Blev medlem: 18 januari 2009, 00:48:24
Ort: Alvesta, Småland

Re: Ny verkstad och kontor

Inlägg av danielr112 »

Kör med samma disk-låda själv och funkar utmärkt till enklare storage. OK prestanda men givet kräver det att man har ett bra sas-kort i maskinen som kör dem.

Fläktarna låter som rea-plan så jag kör dem manuellt på 7V istället och det räcker gott när dom står i en normal hall med godtycklig kylning.
MiaM
Inlägg: 9912
Blev medlem: 6 maj 2009, 22:19:19

Re: Ny verkstad och kontor

Inlägg av MiaM »

Apropå kylning o.s.v. så kan det kanske vara bra att installera nån mjukvara som kan logga data och generera grafer, och göra grafer på bland annat temperaturen på diskarna.
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

Först lite svar på tidigare inlägg...

Systemet är inte tänkt att vara mer redundant än att det bara är en UPS, så det är ju en single-point-of-failure. Det är också andra enheter (PDU:erna t.ex.) som kan ta ned flera enheter om de går sönder. Sen är det inte alla nätverksswitcharna som har dubbla nätaggregat, inte heller alla datornerna. Har ännu inte bestämt om alla nätaggregat till servrarna faktiskt blir inkopplade eller om de bara får sitta där som en reservdel. Syftet med bypass-brytarna för UPS kraften är mest att kunna koppla bort UPS om det behövs. De är gjorda för europeisk el, för övrigt :)

Sedan sist så har jag testkört både diskkabinettet och servrarna och kan konstatera att, precis som danielr112 skrev så låter diskkabinettet rätt ordentligt. Servrarna är inte så farliga, de dränks i ljudet från UPS:en. Jag har tillfälligt plockat bort 3 av de 7 fläktarna i diskkabinettet, och ska hålla lite koll på temperaturen på diskarna när det väl är driftsatt.

Idag så började jag med att koppla bort alla tillfälliga kablar i racken (med andra ord alla kablar som fanns där), i syfte att förbereda den riktiga kabeldragningen (som jag egentligen också tänkt börja på, men som kommer framgå så blev det inte så). En del utrustning som suttit, eller varit tänkt att sitta, i racken kommer inte att behövas. Det handlar primärt om att jag plockar bort en av de två arbetsdatorer som varit planerad. Skälet till att det från början skulle vara två är att dels ha en som är identisk med de grafikmaskiner vi använder (för att på så sätt kunna testa mjukvara innan den sätts i produktion) dels att ha en för redigering (som inte använder samma videohårdvara). Men då vi börjat byta videokort i våra grafikmaskiner, och dessutom har så många olika modeller nu, så finns inte det behovet längre. Därför försvinner den ena maskinen till förmån för en enklare installation. Jag förbereder dock med plats för en andra maskin som kan användas för ren rendering. Utöver maskinen som försvann så försvann också behovet av KVM-switchar (dessa skulle ändå inte fungera optimalt med den nya skärmen) och lite konverters för ljud.

När den överblivna utrustningen plockats bort, så möblerade jag om lite i racket också. Jag ville få upp diskkabinettet så att diskarna på baksidan är lätta att komma åt utan att påverkas av kabelstammarna i racket. Och sedan ville jag få upp nätverksswitcharna lite också, så att de blir lie lättare att komma åt (de satt väldigt lågt i racket innan). Samtidigt är det förberett plats för ytterligare två servrar om det behovet skulle uppstå.

Så här ser fram- och baksidorna ut nu, innan kabeldragning (det saknas täckplåtar på det vänstra racket framför nätverksswitcharna, och den gamla filservern och den gamla VMWare-servern står tillfälligt kvar i det högra racket i väntan på att data skall flyttas till de nya maskinerna):
Rack_1.jpg
Rack_2.jpg
Jag monterade också en uppsättning nya hårddiskar (10x8TB) och en uppsättning från en tidigare filserver (10x4 TB) i vaggorna till diskkabinettet. Här ligger de och väntar på montering (och ja, bilderna på racken är tagna efteråt :) ):
Hårddiskar.jpg
Sedan sorterade jag upp lite nyinköpt kabel. Planen var att dra el- och nätverkskablar idag. Förutom Cat6-kabel så är det elkabel för 10A och 16A:
Kablar.jpg
Det sista som behövde göras för att komma igång var att skriva ut etiketter till kablarna. Det tog ca en timme att skapa underlaget för dem (eftersom en del ändrats i och med de modifieringar jag gjorde idag), men när det var dags att skriva ut blev det problem. Dels att få bredden och höjden på varje etikett helt exakt (det är 11x8 på ett papper, så blir det fel kan felet bli rätt stort på slutet), men framför allt för att skrivaren inte ville börja skriva tillräckligt långt ut på pappret. Enligt HP skall den ha 3,4 mm marginal, men den startade mer än 8 mm in på sidan. Det tog inte mindre än närmare 5 timmar att få ordning på detta! Men till slut så:
Etiketter.jpg
Då var klockan nästan midnatt, så någon kabeldragning blev det inte idag. Med lite tur kanske jag får lite tid till det imorgon. Just nu är ju alla maskiner avstängda, där ibland min Plex-server med all media på. Så kan det inte få vara för länge...
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
cjonash
Inlägg: 613
Blev medlem: 20 maj 2011, 08:53:58
Ort: Göteborg

Re: Ny verkstad och kontor

Inlägg av cjonash »

Arbetet med kabeldragningen har nu börjat på riktigt. Men först en liten ELFA historia...
Det var lite osäkert om de ark med kabeletiketter som jag haft liggande skulle räcka, så jag tänkte beställa några extra, utifall att. Dessa har tidigare varit ganska dyra, men när jag sökte på ELFA (som är där jag beställt dem tidigare) så hittade jag en artikel där det var 10-pack med ark. Så jag beställde fem sådana förpackningar. Dagen efter kom paketet med DHL till mitt ombud, och jag åkte för att hämta det. Blev lite förvånad när jag såg paketet:
Elfa_1.jpg
Det skulle ju bara innehålla 50 ark (A4) med etiketter... Vikten avslöjade dock att det nog trots allt var rätt innehåll, och mycket riktigt:
Elfa_2.jpg
Jag förstår att ELFA har en bra deal med DHL, och att det förmodligen är billigare för dem att ha standardstorlekar, men ändå...
Det visade sig också att jag fått 5 ark, inte 5 förpackningar med 10 ark i varje. Ett samtal till kundtjänst resulterade i att ett nytt paket är på väg (har faktiskt kommit men jag har inte hunnit hämta det), och för att skapa ytterligare lite extra flygtransport så noterade jag i orderbekräftelsen som kom att en av de 5 förpackningar de tänkt skicka är restnoterad, så det kommer väl ett tredje paket med tiden...

Efter detta lilla sidospår så fortsatte jag med installationen. Jag börjar med alla elkablar, och så här ser de ut när de är märkta:
Etikett.jpg
Båda ändarna på alla kablar har så klart samma nummer, men också i klartext vilken enhet och port de skall sitta i. Det finns olika sätt att märka, det här lärde jag mig för många år sedan och har stannat kvar vid det sedan dess.

Jag har valt att låta alla kablar vara lite för långa, och gömmer överskottet i golvet. På så sätt kan all synlig kabeldragning se prydlig ut. Här är en bild när jag precis börjat:
Kabeldragning_1.jpg
När jag var klar för idag så var alla elkablar i racken klara, och så här ser det ut (första bilden är från innan det var helt klart):
Kabeldragning_2.jpg
Kabeldragning_3.jpg
Nästa steg blir nätverkskablarna.

Sedan beställde jag två stycken 3HE bordsrack, för att se om det kunde vara användbart (kommer i så fall visas senare). Det visade sig att de är 3D-printade (det hade jag också sett innan om jag läst recensionerna, men det gjorde jag inte...) men jag tycker nog att de är ok ändå. Inte helt säker på om jag kommer använda dem, men så här ser det ut när man monterat en enhet i dem:
Skrivbordsrack.jpg
Du har inte behörighet att öppna de filer som bifogats till detta inlägg.
MiaM
Inlägg: 9912
Blev medlem: 6 maj 2009, 22:19:19

Re: Ny verkstad och kontor

Inlägg av MiaM »

Snyggt!

Vad kan man använda för att skriva ut på etiketterna? Vilken vanlig laser som helst, eller speciell skrivare?

Det där med Elfapaket har väl diskuterats till leda, men en faktor jag brukar peka på är att det kostar ju också att ha massor av storlekar i lager och det kostar att (låta maskiner) hämta saker i olika delar av lagret, så det kan faktiskt vara mer lönsamt för Elfa att pröjsa mer i frakt jämfört med att behöva ha mer plats för att packa paket för att kunna ha fler storlekar. Avtalet med DHL kan ju också vara så att de pröjsar en viss summa per storleksenhet och en viss summa per viktenhet, och att varje av dessa också innehåller en viss mängd av den andra på köpet på nåt vis, så att om de skickat ett gäng tunga paket så kanske storleken på några lätta paket nära på kvittar. Fordonen som transporterar paketen lär ju inte vara dimensionerade för att orka med att varje försändelse har maximal densitet, så utrymmet i fordonen kanske ändå annars gått förlorad om paketet varit mindre.
Användarvisningsbild
arvidb
Inlägg: 4537
Blev medlem: 8 maj 2004, 12:56:24
Ort: Stockholm

Re: Ny verkstad och kontor

Inlägg av arvidb »

Det var en intressant insändare i NyTeknik om det där med onödigt stora paket nyligen, skriven av Mattias Viklund på Trafikanalys som på regeringens uppdrag analyserar hur ehandeln påverkar transportmönstren.
Att handla på nätet skulle kunna minska transporterna i samhället. Men krav på snabba leveranser, onödigt stora förpackningar och många returer gör att transporterna i stället riskerar öka
https://www.nyteknik.se/opinion/kravet- ... sk-6980415
danielr112
Inlägg: 8044
Blev medlem: 18 januari 2009, 00:48:24
Ort: Alvesta, Småland

Re: Ny verkstad och kontor

Inlägg av danielr112 »

Koppla om fläktarna till 7V istället i lådan. Jag har kört så i alla mina år och funkar utan problem fastän lådan är full med disk. Dom blir inte nämnvärt varmare
Skriv svar