serwer Serwer/NAS na konsumenckich częściach ~300TB / 16xHDD

[kmicolo 0]

Cześć. Zawodowo zajmuję się devopsowaniem a więc zarządzaniem aplikacjami i serwerami (wraz z infrastrukturą sieciową). Jednak to nie to samo dobrać parametry wydajności maszyny z tabelki w AWS, a zbudować coś do szafy w domu samemu. Z tego powodu postanowiłem poprosić was o pomoc.

Buduję serwer/nas/komputer którego zadaniem jest działać 24/7 pod obciążeniem i serwować dane z ~16HDD w formie udziałów sieciowych.

Wstępna specyfikacja z którą wychodzę to Intel 14600, 64/128GB ramu, karta HBA na 16 dysków twardych (HDD), potencjalnie karta graficzna pokroju bieda ediszyn Intel ARC oraz karta sieciowa 2x10Gb.

O ile build wydaje się stosunkowo prosty, zastanawia mnie kilka rzeczy.

- Jaki procesor/płyta główna da mi odpowiednią ilość linii PCIE? Chciał bym zostawić sobie możliwość rozbudowy do 5090 lub czegoś podobnego w przyszłośći, więc 16 linii. HBA to minimum 8 linii, karta sieciowa 4 linie. Robi się tłoczno
- Czy Xeon ma tutaj sens? Kompletnie nie łapię się w oznaczeniach Xeonów i nawet nie wiem w jakie celować.
- AMD EPYC?

- Ram ECC odpuszczam, nie potrzebuję tego

- Czy w obudowie 3U lub towerze karta HBA potrzebuje dodatkowego chłodzenia?

- Czy 16 HDD + 2 SSD + 2 nVME - tak duża ilość dysków - wstanie nawet na stosunkowo mocnym zasilaczu, kiedy wcisnę przycisk uruchamiający maszynę? To spory kop prądu żeby rozkręcić te dyski. Kompletnie nie rozumiem które płyty główne obsługują opóźmiony start.

- Czy jest sens pchać się w zasilacz platinum/titanium rated? Czy zyski z większej efektywności prądowej odbiją się na rachunkach za prąd? Teoretycznie maszyna nie będzie zjadać dużo prądu poza startem. Rozruch dysków to będzie z 500W które po rozruchu magicznie znikną.

- Zależy mi na stosunkowej ciszy. Miałem już upolowanego Della r740xd2 na 24 HDD, ale przeraża mnie fakt że potrafi on zagłuszyć Boeinga wiozącego mnie na wakacje. Stąd decyzja na budowanie tego w racku 3U lub na Fractal Define 7 XL.

- Zabawki od synology mnie nie interesują. To się nadaje jedynie do małych zastosowań, zaczynając od limitu rozmiaru poola na 108TB, kończąc na braku wsparcia mergerFS. Sensowne modele zaczynają się od 15k PLN i obsługują jedynie dyski synology (rebrandowane sklepowe marki w 3x wyższej cenie) i są niesamowicie głośne.

 

Dodatkowo pytanie bonusowe o rack. Mam małego chińskiego open racka w garderobie. Akurat 3U zostały wolne. Rozważam wsadzenie tego w obudowę InterTech (https://www.inter-tech.de/productdetails-143/3U-3416_EN.html). Obudowa waży 15kg, do tego 16 dysków HDD, 2 dyski SSD i reszta osprzętu. Czy ten rack (https://allegro.pl/oferta/vevor-szafa-serwerowa-z-otwarta-585x510x626mm-czarny-4-slupkowy-stojak-16777245919) może to potencjalnie udźwignąć? Czy lepiej zdecydować się na Fractal Define 7XL?

 

Wiem że ciężko znaleźć osoby bardziej obeznane w temacie, dlatego proszę was o pomoc w złożeniu czegoś. Chciał bym w weekend zrobić zamówienie. Dyski twarde już czekają. Budżet mnie nie ogranicza, ale chyba nie chcę iść w full enterprise i zapłacić za to 20k PLN.

Edytowane 16 Kwietnia przez kmicolo

[some1 331]

2 godziny temu, kmicolo napisał(a):

Wstępna specyfikacja z którą wychodzę to Intel 14600, 64/128GB ramu, karta HBA na 16 dysków twardych (HDD), potencjalnie karta graficzna pokroju bieda ediszyn Intel ARC oraz karta sieciowa 2x10Gb.

O ile build wydaje się stosunkowo prosty, zastanawia mnie kilka rzeczy.

- Jaki procesor/płyta główna da mi odpowiednią ilość linii PCIE? Chciał bym zostawić sobie możliwość rozbudowy do 5090 lub czegoś podobnego w przyszłośći, więc 16 linii. HBA to minimum 8 linii, karta sieciowa 4 linie. Robi się tłoczno

Tak na full to żaden, zwłaszcza jeśli chcesz jeszcze zmieścić mocniejszą kartę graficzną oraz dokładać dyski nvme. Bez GPU może coś dobierzesz na styk z pewnymi kompromisami.

 

U konsumenckiego Intela link pomiędzy chipsetem a CPU to ekwiwalent PCIe 4.0x8, a u AMD PCIe 4.0 x4. Więc kartę HBA musisz podłączyć do slotu normalnie przeznaczonego dla GPU. Nawet jeśli płyta ma drugi slot PCIe podłączony do CPU, to może się okazać, że nie będzie działał gdy obsadzisz niektóre sloty M.2. A jeśli podwiesisz za dużo rzeczy pod chipset, to coś może zacząć hamować bo link CPU-chipset będzie ograniczeniem.

 

Generalnie musisz przeglądać instrukcje płyt jak wygląda bifurkacja portów, gdzie co można podłączyć żeby nie obcięło gdzie indziej, mając na uwadze ograniczenia chipsetu. Są różne kombinacje w zależności od płyty i producenta. Jeśli dyski podłączone do płyty również chcesz łączyć w RAID, to też nie każda kombinacja portów jest możliwa.

 

Na modelach serwerowych się nie znam.

[kmicolo 0]

10 godzin temu, some1 napisał(a):

Tak na full to żaden, zwłaszcza jeśli chcesz jeszcze zmieścić mocniejszą kartę graficzną oraz dokładać dyski nvme. Bez GPU może coś dobierzesz na styk z pewnymi kompromisami.

 

Jestem gotów iść na ustępstwa. Jeśli pójdę w Intela to integra powinna mi wystarczyć. Znalazłem też taką płytę jak Asus Pro WS W680-ACE ale jest obrzydliwie droga (blisko 2.5k PLN). Szczególnie jeśli uda mi się zbić cenę, to "na styk" może być wystarczająco. Mam drugi serwer na Intel NUC 13gen. Mogę też kartę sieciową podpiąć pod niżej taktowane gniazdo, nie musi wyciągać pełnych 20Gbps - nie wyobrażam sobie żebym maxował oba porty jednocześnie. No może poza wstępnym zapełnianiem danymi

 

Cytat

U konsumenckiego Intela link pomiędzy chipsetem a CPU to ekwiwalent PCIe 4.0x8, a u AMD PCIe 4.0 x4. Więc kartę HBA musisz podłączyć do slotu normalnie przeznaczonego dla GPU. Nawet jeśli płyta ma drugi slot PCIe podłączony do CPU, to może się okazać, że nie będzie działał gdy obsadzisz niektóre sloty M.2. A jeśli podwiesisz za dużo rzeczy pod chipset, to coś może zacząć hamować bo link CPU-chipset będzie ograniczeniem.

Wydawało mi się że właśnie AMD ma więcej linii PCIE. Z chipsetu potrzebował bym tylko 2 porty sata i 2x nvme prawdodpobnie, resztę ogarną dedykowane karty. Raid, jeśli będę tworzył macierze (planuję mergerFS + snapraid), będzie realizowany przez HBA i na małej ilości dysków. Problem z raidem w moim przypadku to odpalanie wszystkich dysków naraz do każdej operacji i chcę tego uniknąć.

Koledzy, będę wdzięczny za propozycje najchętniej od kogoś kto już się sparzył budując coś takiego.

[some1 331]

12 minut temu, kmicolo napisał(a):

Znalazłem też taką płytę jak Asus Pro WS W680-ACE ale jest obrzydliwie droga (blisko 2.5k PLN).

Ta płyta nie oferuje specjalnie nic więcej niż płyty na Z690 albo Z790, Masz niby więcej slotów PCIe ale one są 3.0 x4, więc nawet Ethernet szkoda tam podłączać.

Na przykład Asus Z790 Pro Art powinien być trochę tańszy, ma dwa sloty x8 pod CPU i slot 4.0x4 pod chipsetem, więc możesz sobie podłączyć GPU+HBA+Ethernet w tej kolejności i jest szansa, że będzie to działać.

 

15 minut temu, kmicolo napisał(a):

Wydawało mi się że właśnie AMD ma więcej linii PCIE.

AMD AM5 ma więcej linii ale chipset dostaje mniej niż u Intela. A ekstra linie od CPU są zużyte na sloty m.2 Gen5 oraz 40Gb USB/Thunderbolt. SLI umarło, więc coraz mniej jest płyt, które mają dwa sloty PCIExpress dla kart rozszerzeń podłączone pod CPU.

[kmicolo 0]

Bardzo ciekawa płyta ten ProArt, do tego już z 10GbE i 2.5GbE na pokładzie - co powinno mi wystarczyć (szkoda że nie SFP+). Ew. 4x1GbE do maszyn wirtualnych dodam, co by miały prywatne interfejsy. Dużo m2, przyjmie kartę graficzną. Brak IPMI/ECC mi nie przeszkadza również. Jeśli nie dostanę lepszej propozycji pewnie się na nią zdecyduję. Cena dalej zabija, ale alternatywą wydają się płyty serwerowe i procesory serwerowe na których zupełnie się nie znam.

Liczę na feedback odnośnie reszty - chłodzenia, zasilacza, obudowy i chętnie bym to skontrował z kimś kto poleci xeona/epyca

A co z LGA 1851? Znalazłem ProArt Z890

Edytowane 17 Kwietnia przez kmicolo

[kmicolo 0]

Co jest ze mną nie tak? Chyba wiem już czego chcę.

Asus PRIME Z890-P-CSM 1200zł

Intel Core Ultra 5 225 1000zł

Jakie chłodzenie?

64GB RAM - jaki?

Zintegrowana grafika

Intel x710-DA2 (2x SFP+)

Intel I350-T4 (4x GbE)

Broadcom HBA 16i (która?)

2x Crucial MX500 4TB

2x nVME 1TB

Zasilacz - jaki?

Wiatraki Noctua

Obudowa Fractal Define 7 XL lub rack 3u Inter-Tech