Skocz do zawartości

Rekomendowane odpowiedzi

Opublikowano (edytowane)

Cześć. Zawodowo zajmuję się devopsowaniem a więc zarządzaniem aplikacjami i serwerami (wraz z infrastrukturą sieciową). Jednak to nie to samo dobrać parametry wydajności maszyny z tabelki w AWS, a zbudować coś do szafy w domu samemu. Z tego powodu postanowiłem poprosić was o pomoc.

Buduję serwer/nas/komputer którego zadaniem jest działać 24/7 pod obciążeniem i serwować dane z ~16HDD w formie udziałów sieciowych.

Wstępna specyfikacja z którą wychodzę to Intel 14600, 64/128GB ramu, karta HBA na 16 dysków twardych (HDD), potencjalnie karta graficzna pokroju bieda ediszyn Intel ARC oraz karta sieciowa 2x10Gb.

O ile build wydaje się stosunkowo prosty, zastanawia mnie kilka rzeczy.

- Jaki procesor/płyta główna da mi odpowiednią ilość linii PCIE? Chciał bym zostawić sobie możliwość rozbudowy do 5090 lub czegoś podobnego w przyszłośći, więc 16 linii. HBA to minimum 8 linii, karta sieciowa 4 linie. Robi się tłoczno
- Czy Xeon ma tutaj sens? Kompletnie nie łapię się w oznaczeniach Xeonów i nawet nie wiem w jakie celować.
- AMD EPYC?

- Ram ECC odpuszczam, nie potrzebuję tego

- Czy w obudowie 3U lub towerze karta HBA potrzebuje dodatkowego chłodzenia?

- Czy 16 HDD + 2 SSD + 2 nVME - tak duża ilość dysków - wstanie nawet na stosunkowo mocnym zasilaczu, kiedy wcisnę przycisk uruchamiający maszynę? To spory kop prądu żeby rozkręcić te dyski. Kompletnie nie rozumiem które płyty główne obsługują opóźmiony start.

- Czy jest sens pchać się w zasilacz platinum/titanium rated? Czy zyski z większej efektywności prądowej odbiją się na rachunkach za prąd? Teoretycznie maszyna nie będzie zjadać dużo prądu poza startem. Rozruch dysków to będzie z 500W które po rozruchu magicznie znikną.

- Zależy mi na stosunkowej ciszy. Miałem już upolowanego Della r740xd2 na 24 HDD, ale przeraża mnie fakt że potrafi on zagłuszyć Boeinga wiozącego mnie na wakacje. Stąd decyzja na budowanie tego w racku 3U lub na Fractal Define 7 XL.

- Zabawki od synology mnie nie interesują. To się nadaje jedynie do małych zastosowań, zaczynając od limitu rozmiaru poola na 108TB, kończąc na braku wsparcia mergerFS. Sensowne modele zaczynają się od 15k PLN i obsługują jedynie dyski synology (rebrandowane sklepowe marki w 3x wyższej cenie) i są niesamowicie głośne.

 

Dodatkowo pytanie bonusowe o rack. Mam małego chińskiego open racka w garderobie. Akurat 3U zostały wolne. Rozważam wsadzenie tego w obudowę InterTech (https://www.inter-tech.de/productdetails-143/3U-3416_EN.html). Obudowa waży 15kg, do tego 16 dysków HDD, 2 dyski SSD i reszta osprzętu. Czy ten rack (https://allegro.pl/oferta/vevor-szafa-serwerowa-z-otwarta-585x510x626mm-czarny-4-slupkowy-stojak-16777245919) może to potencjalnie udźwignąć? Czy lepiej zdecydować się na Fractal Define 7XL?

 

Wiem że ciężko znaleźć osoby bardziej obeznane w temacie, dlatego proszę was o pomoc w złożeniu czegoś. Chciał bym w weekend zrobić zamówienie. Dyski twarde już czekają. Budżet mnie nie ogranicza, ale chyba nie chcę iść w full enterprise i zapłacić za to 20k PLN.

Edytowane przez kmicolo
  • kmicolo zmienił(a) tytuł na Serwer/NAS na konsumenckich częściach ~300TB / 16xHDD
Opublikowano
2 godziny temu, kmicolo napisał(a):

Wstępna specyfikacja z którą wychodzę to Intel 14600, 64/128GB ramu, karta HBA na 16 dysków twardych (HDD), potencjalnie karta graficzna pokroju bieda ediszyn Intel ARC oraz karta sieciowa 2x10Gb.

O ile build wydaje się stosunkowo prosty, zastanawia mnie kilka rzeczy.

- Jaki procesor/płyta główna da mi odpowiednią ilość linii PCIE? Chciał bym zostawić sobie możliwość rozbudowy do 5090 lub czegoś podobnego w przyszłośći, więc 16 linii. HBA to minimum 8 linii, karta sieciowa 4 linie. Robi się tłoczno

Tak na full to żaden, zwłaszcza jeśli chcesz jeszcze zmieścić mocniejszą kartę graficzną oraz dokładać dyski nvme. Bez GPU może coś dobierzesz na styk z pewnymi kompromisami.

 

U konsumenckiego Intela link pomiędzy chipsetem a CPU to ekwiwalent PCIe 4.0x8, a u AMD PCIe 4.0 x4. Więc kartę HBA musisz podłączyć do slotu normalnie przeznaczonego dla GPU. Nawet jeśli płyta ma drugi slot PCIe podłączony do CPU, to może się okazać, że nie będzie działał gdy obsadzisz niektóre sloty M.2. A jeśli podwiesisz za dużo rzeczy pod chipset, to coś może zacząć hamować bo link CPU-chipset będzie ograniczeniem.

 

Generalnie musisz przeglądać instrukcje płyt jak wygląda bifurkacja portów, gdzie co można podłączyć żeby nie obcięło gdzie indziej, mając na uwadze ograniczenia chipsetu. Są różne kombinacje w zależności od płyty i producenta. Jeśli dyski podłączone do płyty również chcesz łączyć w RAID, to też nie każda kombinacja portów jest możliwa.

 

Na modelach serwerowych się nie znam.

  • Like 1
Opublikowano
10 godzin temu, some1 napisał(a):

Tak na full to żaden, zwłaszcza jeśli chcesz jeszcze zmieścić mocniejszą kartę graficzną oraz dokładać dyski nvme. Bez GPU może coś dobierzesz na styk z pewnymi kompromisami.

 

Jestem gotów iść na ustępstwa. Jeśli pójdę w Intela to integra powinna mi wystarczyć. Znalazłem też taką płytę jak Asus Pro WS W680-ACE ale jest obrzydliwie droga (blisko 2.5k PLN). Szczególnie jeśli uda mi się zbić cenę, to "na styk" może być wystarczająco. Mam drugi serwer na Intel NUC 13gen. Mogę też kartę sieciową podpiąć pod niżej taktowane gniazdo, nie musi wyciągać pełnych 20Gbps - nie wyobrażam sobie żebym maxował oba porty jednocześnie. No może poza wstępnym zapełnianiem danymi :)

 

Cytat

U konsumenckiego Intela link pomiędzy chipsetem a CPU to ekwiwalent PCIe 4.0x8, a u AMD PCIe 4.0 x4. Więc kartę HBA musisz podłączyć do slotu normalnie przeznaczonego dla GPU. Nawet jeśli płyta ma drugi slot PCIe podłączony do CPU, to może się okazać, że nie będzie działał gdy obsadzisz niektóre sloty M.2. A jeśli podwiesisz za dużo rzeczy pod chipset, to coś może zacząć hamować bo link CPU-chipset będzie ograniczeniem.


Wydawało mi się że właśnie AMD ma więcej linii PCIE. Z chipsetu potrzebował bym tylko 2 porty sata i 2x nvme prawdodpobnie, resztę ogarną dedykowane karty. Raid, jeśli będę tworzył macierze (planuję mergerFS + snapraid), będzie realizowany przez HBA i na małej ilości dysków. Problem z raidem w moim przypadku to odpalanie wszystkich dysków naraz do każdej operacji i chcę tego uniknąć.

Koledzy, będę wdzięczny za propozycje najchętniej od kogoś kto już się sparzył budując coś takiego.

Opublikowano
12 minut temu, kmicolo napisał(a):

Znalazłem też taką płytę jak Asus Pro WS W680-ACE ale jest obrzydliwie droga (blisko 2.5k PLN).

Ta płyta nie oferuje specjalnie nic więcej niż płyty na Z690 albo Z790, Masz niby więcej slotów PCIe ale one są 3.0 x4, więc nawet Ethernet szkoda tam podłączać.

Na przykład Asus Z790 Pro Art powinien być trochę tańszy, ma dwa sloty x8 pod CPU i slot 4.0x4 pod chipsetem, więc możesz sobie podłączyć GPU+HBA+Ethernet w tej kolejności i jest szansa, że będzie to działać.

 

15 minut temu, kmicolo napisał(a):

Wydawało mi się że właśnie AMD ma więcej linii PCIE.

AMD AM5 ma więcej linii ale chipset dostaje mniej niż u Intela. A ekstra linie od CPU są zużyte na sloty m.2 Gen5 oraz 40Gb USB/Thunderbolt. SLI umarło, więc coraz mniej jest płyt, które mają dwa sloty PCIExpress dla kart rozszerzeń podłączone pod CPU.

Opublikowano (edytowane)

Bardzo ciekawa płyta ten ProArt, do tego już z 10GbE i 2.5GbE na pokładzie - co powinno mi wystarczyć (szkoda że nie SFP+). Ew. 4x1GbE do maszyn wirtualnych dodam, co by miały prywatne interfejsy. Dużo m2, przyjmie kartę graficzną. Brak IPMI/ECC mi nie przeszkadza również. Jeśli nie dostanę lepszej propozycji pewnie się na nią zdecyduję. Cena dalej zabija, ale alternatywą wydają się płyty serwerowe i procesory serwerowe na których zupełnie się nie znam.

Liczę na feedback odnośnie reszty - chłodzenia, zasilacza, obudowy i chętnie bym to skontrował z kimś kto poleci xeona/epyca ;)

A co z LGA 1851? Znalazłem ProArt Z890 :)

Edytowane przez kmicolo
Opublikowano

Co jest ze mną nie tak? Chyba wiem już czego chcę.

Asus PRIME Z890-P-CSM 1200zł

Intel Core Ultra 5 225 1000zł

Jakie chłodzenie?

64GB RAM - jaki?

Zintegrowana grafika

Intel x710-DA2 (2x SFP+)

Intel I350-T4 (4x GbE)

Broadcom HBA 16i (która?)

2x Crucial MX500 4TB

2x nVME 1TB

Zasilacz - jaki?

Wiatraki Noctua

Obudowa Fractal Define 7 XL lub rack 3u Inter-Tech

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
  • Popularne tematy

  • Najnowsze posty

    • Przecież to nie była wycena. Wycena a pokazanie, że "da się kupic" to trochę inne kalosze. Wycena to średnia cena np z allegro + zmienne jak gw, stan przedmiotu itp. "Da się kupić" to najniższa oferta na dany przedmiot który nas interesuje. Np teraz na OLX wisi 9800x3d za 1000 zł. To chyba nie znaczy, że każdy taki proc jest tyle wart tylko, że da się kupić.     Wątek z okazjami już jest w giełdzie.
    • Nie, nie można -  jedź na Florydę, tam już zaczyna się fajna zabawa z odrą.  A w kolejce czeka pewnie polio. W kwestii ekologii i produkcji śmieci - pewnie, natomiast co to ma wspólnego z negowaniem rzetelnej wiedzy medycznej to wiedzą tylko takie kliniczne przypadki jak ty.    
    • a jak zachoruje to można zmusić?   Jakby kogokolwiek interesowała ekologia to by nie pozwolono produkować miliardy ton badziewia którego życie kończy sie często po kilku tygodniach  
    • W kazdym badz razie, tak to wyglada. Duzo po prostu od windowsa zalezy. Spróbuj debloata. Poszukaj na githubie
    • Można sobie ironizować, i oczywiście nie jest wskazana postawa taka jak szurów antyszczepów "bo ja nie zachorowałem/na pewno nie zachoruję, więc nikt nie może zmusić mnie do szprycy!" - choć skuteczność została akurat tutaj udowodniona ponad wszelką wątpliwość... ale z tą walką z ociepleniem klimatu często niestety wychodzi sytuacja typu "sąsiad jest gruby, więc ty masz przejść na dietę". Do pewnego stopnia trudno się dziwić, ze ludzi to mniej lub bardziej irytuje czy zniechęca. Tym bardziej, że ciężar walki ze zmianami klimatu jest w praktyce czy to pośrednio, czy to bezpośrednio przekładany głównie na szaraczków - albo sami mają obowiązki i obciążenia, albo płacą za obciążenia firm.    Potrzebna jest i ekologia, i walka z ociepleniem (a na pewno z zanieczyszczeniem oraz uzależnieniem od źródeł kopalnych), ale nie może to być walka sterowana przez "ekologów" kupionych za ruble, którzy lobbują za ruskim gazem i przeciwko elektrowniom atomowym, przez koncerny produkujące pompy ciepła czy auta elektryczne itp. Wtedy nawet słuszna sprawa, jak oddymienie obwarzanka krakowskiego przez walkę z niską emisję, może przegrać z kretesem.   Obecnie wielu ludziom pompy zaczynają niedomagać - i oczywiście, może to zły projekt, złe wykonanie - tylko znowu: obrywa Kowalski. Jasna sprawa, majstry tak samo mogą sp... hydraulikę, elektrykę, izolację fundamentów itp. i Kowalski i tak samo oberwie nie ze swojej winy, ale znowu - dom chciał pewnie budować sam, zakładać pompę... no, tu już pewnie bywa różnie.    Dlatego choc nienawidzę szurii i mam alergię na prawactwo, to trudno nie zauważyć, że zielona strona też ma jobla, generuje problemy i realizuje własne interesy. 
  • Aktywni użytkownicy

×
×
  • Dodaj nową pozycję...