Skocz do zawartości

RTX 50x0 (Blackwell) - wątek zbiorczy


Rekomendowane odpowiedzi

Opublikowano
Godzinę temu, wrobel_krk napisał(a):

Ale to kupujesz karty serwerowe czyli z chłodzeniem które nie wydali jak nie wsadzisz do specjalistycznego racka.

Czyli nie wsadzisz do zwykłej obudowy albo ogluchniesz;)

Jak wyżej piszą też dodatkowe 16gb niekoniecznie jest potrzebne w wielu zastosowaniach. Tam gdzie ważniejsza wydajność i przepustowość lepsza tańsza 5090 niż pro.

Ad1. Masz tez wersje workstation czyli blowery takze to nie problem, chociaz wiadomo ze do rackow tylko wersje serwerowe :) 
Ad2. Teoretycznie tak, ale w praktyce wyglada to tak, ze modele ~30B zmiescisz w 24GB vramu a modeli 40B+ nie zmiescisz w 32GB vramu. Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. 
W kazdym razie to "wiele zastosowan" w praktyce ograniczy sie do czegos typu, ze chcesz odpalac modele wieksze niz 30B ale mniejsze niz 40B :E. Takze troche niszowa sytuacja imho...
Przy 48GB pamieci mozesz juz sie solidnie przymierzyc i dzialac na modelach 70B z 4-bitowa kwantyzacja.

Opublikowano
3 minuty temu, Amsztel napisał(a):

Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. 

A czemu nie? Niech się towarzystwo dokształci w tym temacie, skoro już dotknął ich bezpośrednio i doprowadził do podwyżek cen połowy komponentów PC.

Opublikowano
2 godziny temu, sideband napisał(a):

Chinole to skupują od premiery 5090 wkładają więcej pamięci na własne customowe pcb i chłodzenie pod serwery.

Wystarczy pomyśleć jaki na tym jest interes skoro im się to opłaci :E

Zgadza się, różne cwaniaki zgarniają dla nich z naszego rynku co się da, stąd te ceny jakie mamy w sklepach. Boty prywatne albo jakieś publiczne, tam znika wszystko na czym jeszcze mogą zarobić, dokładnie to samo co było w czasach krypto, jedynie zastosowanie jest inne. No i one raczej na rynek nie wrócą tak jak wracały Ampery z kopalni. ;) 

Opublikowano (edytowane)
1 godzinę temu, Radio Tirana napisał(a):

A czemu nie? Niech się towarzystwo dokształci w tym temacie, skoro już dotknął ich bezpośrednio i doprowadził do podwyżek cen połowy komponentów PC.

Nie no, spoko. Cos tam staralem sie zagadac w watku o AI, ale tam to glownie skladowisko memow + czasem @Wu70 cos wrzuci interesujacego ale bez wiekszego posluchu :E 
Choc wydaje mi sie, ze to raczej absolutne podstawy i kazdy tutaj je ogarnia, nie wiem...

W duzym uproszczeniu masz 3 rzeczy, o ktorych musisz myslec chcac odpalac LLM'y lokalnie, czyli: 1) ilosc parametrow, 2) kwantyzacja oraz 3) dlugosc kontekstu.
Ad1) Np. masz model z 30B parametrow (3e10 parametrow) - tzw. ilosc wag modelu. Ponownie - mocno uproszczajac to po prostu liczby, ktore okreslaja w jaki sposob siec neuronowa przeksztalca token w kolejny token. Im wiecej parametrow (liczb) tym potencjalnie lepiej dany model bedzie 'sprytniejszy' (rzecz jasna jakosc treningu danego modelu jest tu bardzo wazna, dlatego napisalem: potencjalnie).
Wagi, o ktorych mowa w poprzednich zdaniach zalozmy, ze sa zapisywane jako liczby zmiennoprzecinkowe (FP16) czyli 16 bitow na wage. No i powiedzmy, ze masz model z 30B parametrow * 16b (2B) kazdy parametr to ci wychodzi w totalu 60GB :E - troche slabo, niezaleznie od tego czy masz 32GB czy 48GB na GPU to i tak sie nie zmiesci. I to ladnie prowadzi nas do...
Ad2)...kwantyzacji - bo powiedzmy, ze ja chce jednak taki model jakos zmiescic :P i wtedy stosuje taki myk, ze kazda wage zapisuje ze zwiekszonym bledem obciecia - czyli np. zamiast 3.14159265 zestoruje to jako 3.1416. Wiadomo, ze wzgledu na blad obciecia strace nieco precyzji...  ALE jezeli rozumiem w jaki sposob zmniejszenie precyzji wplywa na ogolna jakosc danego modelu to bede  mogl zmiescic taki model na karcie z mniejsza iloscia pamieci, jednoczesnie nie tracac zbyt wiele na jego jakosci.

No i stad kiedy patrzysz sobie na nazwe jakiegos modelu, np. 
Qwen3:30B-Q2  to od razu jestes w stanie powiedziec: jaki model (Qwen3), ile ma parametrow (30B) oraz jaka jest kwantyzacja (Q2 - czyli storuje 2^2=4 bity na wage).
Ad3)Do tego mega wazna jest jeszcze tzw. dlugosc kontekstu czyli jak dlugo model bedzie pamietac o czym z nim gaworzysz :E a to tez zajmuje wiecej pamieci im chcesz miec wiekszy kontekst.

Edytowane przez Amsztel
literowki
  • Thanks 1
Opublikowano

@Amsztelzgrabnie opisane :thumbup::thumbup:

 

Jak już mamy podstawy za sobą, to trzeba jeszcze dodać, że na dzień dzisiejszy nie ma modelu wykraczającego poza pamięć pojedynczego RTX 5090, którego warto używać. 

 

Obecnie najlepszy jest Qwen 3.6 27B oraz Gemma 4 31B. Oba mieszczą się w 32GB z sensownym kontekstem (można nawet sięgnąć po wersję dostosowaną pod Blackwelle, czyli NVFP4). 

 

Wszystkie bardziej spasione modele są albo przestarzałe albo zbudowane w architekturze MoE, więc znowu nie potrzeba do nich Bóg wie ile pamięci VRAM, ale za to wypada mieć ze 128GB RAM. 

Opublikowano

Polecam sobie poszukać testów AI gdzie wolniejsze GPU z 3x większą pojemnością bije na głowę 5090 :hihot:

Także wszystko zależy co kto robi ;)

14 minut temu, Kadajo napisał(a):

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ? :E

 

Kto przepłacił ten przepłacił :hihot:

  • Like 1
Opublikowano
3 godziny temu, sideband napisał(a):

Chinole to skupują od premiery 5090 wkładają więcej pamięci na własne customowe pcb i chłodzenie pod serwery.

Wystarczy pomyśleć jaki na tym jest interes skoro im się to opłaci :E

sam bym takiego swapa zrobił ze swoją 5090
a skończy się na sparku-smarku

Opublikowano
16 godzin temu, Kadajo napisał(a):

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ? :E

 

Strzelam ze graja w gre. ;)
Ci ktorzy teraz te karty kupuja po 20k+ to sa ludzie ktorym juz nie robi roznicy czy to jest 20k, 25k, czy zaraz 30k. On chce 5090, cena jest tyle wazna co kolor opakowania w ktorym karta przyjdzie :> 

  • Like 2
  • Upvote 1
Opublikowano
15 minut temu, Kadajo napisał(a):

Nowobogactwo jakieś ;D

Małżonka po prezent dla kumpla odchodzącego na emkę mnie zaciągnęła do Rosenthala. Jak zobaczyłem komplet do kawy Versace, sześć filiżanek, spodeczków i jakieś pierdoły to mi się kolana ugięły. Ponad 17 koła w promocji... Ludzie po prostu mają kasę i tyle.

Opublikowano
4 godziny temu, Grolshek napisał(a):

Małżonka po prezent dla kumpla odchodzącego na emkę mnie zaciągnęła do Rosenthala. Jak zobaczyłem komplet do kawy Versace, sześć filiżanek, spodeczków i jakieś pierdoły to mi się kolana ugięły. Ponad 17 koła w promocji... Ludzie po prostu mają kasę i tyle.

A kawa za ile tysi do tego?:E

Opublikowano
W dniu 2.08.2026 o 16:20, Amsztel napisał(a):

Z tymi dwiema 3090'tkami to nie jest takie proste niestety. Sam mam 3090 i to byla moja pierwsza mysl - dolozyc druga. (Swoja droga widzieliscie ceny uzywek 3090? Crazy :E).

Kilka 3090 to jeden z popularniejszych tanich sposób na domowe llm :D

 

3090 to też ostatnia karta która ma swojego asa w rękawie - nvlink, dla wielu osób nie będzie to istotne (np. tensor parallelism) ale w niektórych zastosowaniach dużo zmienia (np. trenowanie).

 

https://himeshp.blogspot.com/2025/03/vllm-performance-benchmarks-4x-rtx-3090.html

 

3090 to chyba też najlepszy przykład jak ludzie do AI sięgają po karty dla graczy i z ceną odleciały nawet używki.

 

Sam sprzedałem swoją 3090, okazało się że gość brał do AI :lol2:

 

Finalnie, jak zawsze, wszystko sprowadza się do CCC.

W dniu 2.08.2026 o 14:12, JeRRyF3D napisał(a):

Tylko kogo to martwi? ;) oprócz userów?

A userów czemu ma martwić?

 

Na 3090 dużo zarobiłem i jeszcze lata się nagrałem, jak jeszcze zarobię na 5070Ti to od razu wchodzę w 6090 :D

 

I co mam się martwić że nie tracę na zabawkach jak kiedyś? Tylko dlatego że cena początkowa jest wyższa?

 

Jak to mówią - To The Moon :wariat:

  • Like 2
Opublikowano

Sumarycznie, na dziś dzień, to chyba nie stracił nikt kto się zdecydował na zakup Blackwell'i. Tym bardziej jeśli kupił w okresie późno wakacyjnym zeszłego roku gdzie 5090 można było dostać za +/-9000 pln a 5070ti za 3k z lekkim narzutem. 

Wiadomo, jeśli nie potrzebujesz to nie ma tematu. 

A jeśli jest się tak bogatym że ma się cały ten czas, to można zawsze czekać. Kto bogatemu zabroni? 😀

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.

  • Popularne tematy

  • Najnowsze posty

    • @Kyle Ja to samo  Dodatkowo od prawie samego jej początku instaluję stery przez nią   I co najlepsze, jeszcze mi się nigdy (odpukać) stery nie posypały  Nawet UV mi się nie posypało przez te kilka lat  
    • @Zdzisiu no właśnie nie! Dogadanie się to 3/5 albo 4/5 głosów wg różnych propozycji więc również inne partie. Ponadto tą propozycję zgłosiła Konfederacja i w pewnym wariancie PSL.   Ale POPiSowi na tym nie zależy! Jedni mają władzę i siłowo przejęli TK. Drudzy liczą na to, że wygrają wybory i odbiją TK... Xdddd   Z prawa pośmiewisko robią sobie. W kwestii praworządności i prawa najrozsądniejszy głos płynie obecnie wyłącznie z Konfederacji.
    • MSI MPG 341CQR QD-OLED X36 w polskim sklepie msi za 3999zł Zastanawiam się ciągle nad nim. Tylko pełno ludzi zgłaszających black crush (w SDR i HDR) rodem z WOLEDa pierwszych generacji i potrzebie zabawy z narzędziami do gammy i robieniu profili ICC. Podobno i on i ten tańszy brat x28 na to samo cierpią Wiem, że są tu na forum osoby z tym MSI i zaraz dostane w twarz "black crush? jaki black crush, u mnie wszystko git" ale jeśli WOLED/ten MSI jest Twoim pierwszym OLEDem to jest wysokie prawdopodobieństwo, że masz black crusha a nawet nie wiesz że tak to nie powinno wyglądać niestety. Tu jakieś losowe zdjęcie z reddita tego MSI ale bez zdjęcia porównawczego z innym QD mało ono mówi, jedynie można się domyślić że cienie od kwiatków czy kamieni całkowicie zredukowane do czerni: Jeśli Gigabyte miał zielonego tinta, Alienware nierówne podświetlenie, agresywny ABL i niewyłączalne wszystkie pierdółki OLED Care typu edge dimming które tylko dodawały do nierówności podświetlenia a MSI nie będzie miał problemu z tymi rzeczami tylko nagle black crush to mnie *uj strzeli  Interesujące jak implementacja tej samej matrycy może sie różnić między producentami Dopiero co Alienware AW3426DW poleciał z powrotem dziś a trzeci zwrot monitora robić w tak krótkim okresie czasu to mam wątpliwości, mam już dość pakowania ich i rzucania inpostowi po 20zł ciągle   Tu chociaż oficjalny sklep MSI także ich wcale nie szkoda jeśli chodzi o zwracanie drogiej rzeczy No i dochodzi do tego też kwestia gwarancji MSI. Ich gwarancja to równie dobrze jakby jej wcale nie było także jak sie decydujesz na ich monitor to lepiej żeby nigdy nie było potrzeby skorzystania z niej. Ja chyba na zawsze zostane z tym swoim AW3423DWF  Gdyby nie fringing (który dostrzegam ale nigdy nie był dealbreakerem, raczej kwestia mojego słabszego wzroku widząc ilu osobom to przeszkadza) i miałby te 240-360hz to byłby bliski idealnego 34" dla mnie  
    • I pewnie będzie tak z kolejnymi problemami. Teraz trzeba tylko tak dobrej AI do biologii i chemii żeby szybciej osiągnąć nieśmiertelność  
    • Ładnie storpedowali na metacritic  Co tym razem się nie spodobało.
  • Aktywni użytkownicy

×
×
  • Dodaj nową pozycję...
{literal} {/literal}