RTX 50x0 (Blackwell) - wątek zbiorczy

[Amsztel 38]

Godzinę temu, wrobel_krk napisał(a):

Ale to kupujesz karty serwerowe czyli z chłodzeniem które nie wydali jak nie wsadzisz do specjalistycznego racka.

Czyli nie wsadzisz do zwykłej obudowy albo ogluchniesz;)

Jak wyżej piszą też dodatkowe 16gb niekoniecznie jest potrzebne w wielu zastosowaniach. Tam gdzie ważniejsza wydajność i przepustowość lepsza tańsza 5090 niż pro.

Ad1. Masz tez wersje workstation czyli blowery takze to nie problem, chociaz wiadomo ze do rackow tylko wersje serwerowe  
Ad2. Teoretycznie tak, ale w praktyce wyglada to tak, ze modele ~30B zmiescisz w 24GB vramu a modeli 40B+ nie zmiescisz w 32GB vramu. Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. 
W kazdym razie to "wiele zastosowan" w praktyce ograniczy sie do czegos typu, ze chcesz odpalac modele wieksze niz 30B ale mniejsze niz 40B . Takze troche niszowa sytuacja imho...
Przy 48GB pamieci mozesz juz sie solidnie przymierzyc i dzialac na modelach 70B z 4-bitowa kwantyzacja.

[Radio Tirana 1 588]

3 minuty temu, Amsztel napisał(a):

Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. 

A czemu nie? Niech się towarzystwo dokształci w tym temacie, skoro już dotknął ich bezpośrednio i doprowadził do podwyżek cen połowy komponentów PC.

[Mar_s 2 479]

2 godziny temu, sideband napisał(a):

Chinole to skupują od premiery 5090 wkładają więcej pamięci na własne customowe pcb i chłodzenie pod serwery.

Wystarczy pomyśleć jaki na tym jest interes skoro im się to opłaci 

Zgadza się, różne cwaniaki zgarniają dla nich z naszego rynku co się da, stąd te ceny jakie mamy w sklepach. Boty prywatne albo jakieś publiczne, tam znika wszystko na czym jeszcze mogą zarobić, dokładnie to samo co było w czasach krypto, jedynie zastosowanie jest inne. No i one raczej na rynek nie wrócą tak jak wracały Ampery z kopalni.  

[Amsztel 38]

1 godzinę temu, Radio Tirana napisał(a):

A czemu nie? Niech się towarzystwo dokształci w tym temacie, skoro już dotknął ich bezpośrednio i doprowadził do podwyżek cen połowy komponentów PC.

Nie no, spoko. Cos tam staralem sie zagadac w watku o AI, ale tam to glownie skladowisko memow + czasem @Wu70 cos wrzuci interesujacego ale bez wiekszego posluchu  
Choc wydaje mi sie, ze to raczej absolutne podstawy i kazdy tutaj je ogarnia, nie wiem...

W duzym uproszczeniu masz 3 rzeczy, o ktorych musisz myslec chcac odpalac LLM'y lokalnie, czyli: 1) ilosc parametrow, 2) kwantyzacja oraz 3) dlugosc kontekstu.
Ad1) Np. masz model z 30B parametrow (3e10 parametrow) - tzw. ilosc wag modelu. Ponownie - mocno uproszczajac to po prostu liczby, ktore okreslaja w jaki sposob siec neuronowa przeksztalca token w kolejny token. Im wiecej parametrow (liczb) tym potencjalnie lepiej dany model bedzie 'sprytniejszy' (rzecz jasna jakosc treningu danego modelu jest tu bardzo wazna, dlatego napisalem: potencjalnie).
Wagi, o ktorych mowa w poprzednich zdaniach zalozmy, ze sa zapisywane jako liczby zmiennoprzecinkowe (FP16) czyli 16 bitow na wage. No i powiedzmy, ze masz model z 30B parametrow * 16b (2B) kazdy parametr to ci wychodzi w totalu 60GB  - troche slabo, niezaleznie od tego czy masz 32GB czy 48GB na GPU to i tak sie nie zmiesci. I to ladnie prowadzi nas do...
Ad2)...kwantyzacji - bo powiedzmy, ze ja chce jednak taki model jakos zmiescic  i wtedy stosuje taki myk, ze kazda wage zapisuje ze zwiekszonym bledem obciecia - czyli np. zamiast 3.14159265 zestoruje to jako 3.1416. Wiadomo, ze wzgledu na blad obciecia strace nieco precyzji...  ALE jezeli rozumiem w jaki sposob zmniejszenie precyzji wplywa na ogolna jakosc danego modelu to bede  mogl zmiescic taki model na karcie z mniejsza iloscia pamieci, jednoczesnie nie tracac zbyt wiele na jego jakosci.

No i stad kiedy patrzysz sobie na nazwe jakiegos modelu, np. Qwen3:30B-Q2  to od razu jestes w stanie powiedziec: jaki model (Qwen3), ile ma parametrow (30B) oraz jaka jest kwantyzacja (Q2 - czyli storuje 2^2=4 bity na wage).
Ad3)Do tego mega wazna jest jeszcze tzw. dlugosc kontekstu czyli jak dlugo model bedzie pamietac o czym z nim gaworzysz  a to tez zajmuje wiecej pamieci im chcesz miec wiekszy kontekst.

Edytowane Niedziela o 18:36 przez Amsztel
literowki

[Kadajo 9 882]

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ?

 

[Radio Tirana 1 588]

@Amsztelzgrabnie opisane 

 

Jak już mamy podstawy za sobą, to trzeba jeszcze dodać, że na dzień dzisiejszy nie ma modelu wykraczającego poza pamięć pojedynczego RTX 5090, którego warto używać. 

 

Obecnie najlepszy jest Qwen 3.6 27B oraz Gemma 4 31B. Oba mieszczą się w 32GB z sensownym kontekstem (można nawet sięgnąć po wersję dostosowaną pod Blackwelle, czyli NVFP4). 

 

Wszystkie bardziej spasione modele są albo przestarzałe albo zbudowane w architekturze MoE, więc znowu nie potrzeba do nich Bóg wie ile pamięci VRAM, ale za to wypada mieć ze 128GB RAM. 

[sideband 3 050]

Polecam sobie poszukać testów AI gdzie wolniejsze GPU z 3x większą pojemnością bije na głowę 5090 

Także wszystko zależy co kto robi 

14 minut temu, Kadajo napisał(a):

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ?

 

Kto przepłacił ten przepłacił 

[bofff 224]

3 godziny temu, sideband napisał(a):

Chinole to skupują od premiery 5090 wkładają więcej pamięci na własne customowe pcb i chłodzenie pod serwery.

Wystarczy pomyśleć jaki na tym jest interes skoro im się to opłaci 

sam bym takiego swapa zrobił ze swoją 5090
a skończy się na sparku-smarku

[Kadajo 9 882]

38 minut temu, sideband napisał(a):

Kto przepłacił ten przepłacił 

No podobno gracze wykupują te karty 

[Doamdor 2 875]

51 minut temu, Kadajo napisał(a):

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ?

 

No jak to co, przeglądać forum ithardware i spoglądać na tego bydlaka w komputerze. 

 

[Fenrir_14 1 250]

1 godzinę temu, Kadajo napisał(a):

No podobno gracze wykupują te karty 

Ja to najdroższą 5090 kupiłem w dzień premiery w marcu 2025 
Później to już było z górki heh

[maras2574 1 222]

W dniu 29.07.2026 o 23:55, MJRegul napisał(a):

3 wiatrakowe ~3000zł.

Kiedy wy się nauczycie, wiatraki są w Holandii albo na polach !!! W kartach graficznych są WENTYLATORY !!! 

[oldfashioned 842]

16 godzin temu, Kadajo napisał(a):

No i co ten gracz z przepłaconym RTX'em 5090 ma tym robić ?

 

Strzelam ze graja w gre.
Ci ktorzy teraz te karty kupuja po 20k+ to sa ludzie ktorym juz nie robi roznicy czy to jest 20k, 25k, czy zaraz 30k. On chce 5090, cena jest tyle wazna co kolor opakowania w ktorym karta przyjdzie :> 

[Kadajo 9 882]

Nowobogactwo jakieś 

[Grolshek 1 241]

15 minut temu, Kadajo napisał(a):

Nowobogactwo jakieś 

Małżonka po prezent dla kumpla odchodzącego na emkę mnie zaciągnęła do Rosenthala. Jak zobaczyłem komplet do kawy Versace, sześć filiżanek, spodeczków i jakieś pierdoły to mi się kolana ugięły. Ponad 17 koła w promocji... Ludzie po prostu mają kasę i tyle.

[Doamdor 2 875]

RTX 5060 Ti po małym wypadku. 

 

https://videocardz.com/newz/this-geforce-rtx-5060-ti-was-bent-in-half-in-a-car-crash-but-it-still-works-after-memory-fix

[tomcug 3 971]

Krótkie PCB jednak ma swoje zalety

[ket_rab 424]

@tomcug przetrwała nawet strzał z armaty 

[ODIN85 4 891]

4 godziny temu, Grolshek napisał(a):

Małżonka po prezent dla kumpla odchodzącego na emkę mnie zaciągnęła do Rosenthala. Jak zobaczyłem komplet do kawy Versace, sześć filiżanek, spodeczków i jakieś pierdoły to mi się kolana ugięły. Ponad 17 koła w promocji... Ludzie po prostu mają kasę i tyle.

A kawa za ile tysi do tego?

[Wu70 978]

W dniu 2.08.2026 o 16:20, Amsztel napisał(a):

Z tymi dwiema 3090'tkami to nie jest takie proste niestety. Sam mam 3090 i to byla moja pierwsza mysl - dolozyc druga. (Swoja droga widzieliscie ceny uzywek 3090? Crazy ).

Kilka 3090 to jeden z popularniejszych tanich sposób na domowe llm

 

3090 to też ostatnia karta która ma swojego asa w rękawie - nvlink, dla wielu osób nie będzie to istotne (np. tensor parallelism) ale w niektórych zastosowaniach dużo zmienia (np. trenowanie).

 

https://himeshp.blogspot.com/2025/03/vllm-performance-benchmarks-4x-rtx-3090.html

 

3090 to chyba też najlepszy przykład jak ludzie do AI sięgają po karty dla graczy i z ceną odleciały nawet używki.

 

Sam sprzedałem swoją 3090, okazało się że gość brał do AI 

 

Finalnie, jak zawsze, wszystko sprowadza się do CCC.

W dniu 2.08.2026 o 14:12, JeRRyF3D napisał(a):

Tylko kogo to martwi?  oprócz userów?

A userów czemu ma martwić?

 

Na 3090 dużo zarobiłem i jeszcze lata się nagrałem, jak jeszcze zarobię na 5070Ti to od razu wchodzę w 6090

 

I co mam się martwić że nie tracę na zabawkach jak kiedyś? Tylko dlatego że cena początkowa jest wyższa?

 

Jak to mówią - To The Moon 

[wrobel_krk 986]

Jak wyjdzie 6090 to sam bede polowac na karty w mrsp bo pewnei przebitka bedzie wysoka, a czloweik sobie chwile se pogra nawet i sie poczuje jak pro gracz:)
 

[oldfashioned 842]

Nie ma chyba co liczyc na cene nizsza niz 35k PLN na start, dla wielu to bedzie juz niezly prog wejscia w spekulacje i skalperstwo.

[Fenrir_14 1 250]

Sumarycznie, na dziś dzień, to chyba nie stracił nikt kto się zdecydował na zakup Blackwell'i. Tym bardziej jeśli kupił w okresie późno wakacyjnym zeszłego roku gdzie 5090 można było dostać za +/-9000 pln a 5070ti za 3k z lekkim narzutem. 

Wiadomo, jeśli nie potrzebujesz to nie ma tematu. 

A jeśli jest się tak bogatym że ma się cały ten czas, to można zawsze czekać. Kto bogatemu zabroni? 😀

[Amsztel 38]

8 godzin temu, Wu70 napisał(a):

3090 to też ostatnia karta która ma swojego asa w rękawie - nvlink, dla wielu osób nie będzie to istotne (np. tensor parallelism) ale w niektórych zastosowaniach dużo zmienia (np. trenowanie).

 

https://himeshp.blogspot.com/2025/03/vllm-performance-benchmarks-4x-rtx-3090.html

Dobry link! 

[Wuadator 86]

Karty RTX 5090, RTX 5080 i RTX 5070 będą dostępne w sugerowanych cenach detalicznych na QuakeCon 2026. https://share.google/n2V0Y5RF3qN8sqe9U

 

Ktoś się wybiera ? 🤭🤭🤭