RTX 50x0 (Blackwell) - wątek zbiorczy

[Sidr 340]

Przy AI róznica pomiędzy 16, a 24 jest praktycznie żadna. Dalej to będzie taka amatorska zabawa z AI. Na 64GB już idzie coś fajnego zrobić w domu ze skawntyzowanymi modelami, ale to oznacza ogromny odpływ gotówki dla korpo z abonamentów, wiec wiadomo.. Sam bym jednak wymienił, gdyby dalo rade w sensownie niszkim kosztem

[bourne2008 1 948]

Idąc tym tokiem rozumowania to 32GB na 5090 też jest o kant dupy potłuc. A ceny są jakie są. Czegoś nie rozumiem ?

[Sidr 340]

6 minut temu, bourne2008 napisał(a):

Idąc tym tokiem rozumowania to 32GB na 5090 też jest o kant dupy potłuc. A ceny są jakie są. Czegoś nie rozumiem ?

multi-gpu.. ai restrykcje Trumpa wobec Chin.

Edytowane 4 godziny temu przez Sidr

[sideband 3 570]

49 minut temu, caleb59 napisał(a):

To nie jest pytanie do mnie tylko do @sideband - bardzo lubi tycie czcionki i sam pewnie nosi okulary z powiększeniem -6 i dlatego nie narzeka.  

Jak masz kiepski wzrok to potrzebujesz dużej czcionki. Na tel jest maluteńka czcionka i jakoś nie ma problemu. Na razie nie zanosi się na okulary 

[Wu70 1 175]

20 minut temu, bourne2008 napisał(a):

Czegoś nie rozumiem ?

Bo to bajki, 24 to bardzo duży skok, dokładasz kilka kart 24GB + 128GB ramu i możesz odpalać bardzo duże modele w domu.

Dlatego tak opłacalne są zestawy po kilka sztuk 3090 które odlatują z ceną w kosmos w porównaniu do 3080.

[Sidr 340]

19 minut temu, Wu70 napisał(a):

Bo to bajki, 24 to bardzo duży skok, dokładasz kilka kart 24GB + 128GB ramu i możesz odpalać bardzo duże modele w domu.

Dlatego tak opłacalne są zestawy po kilka sztuk 3090 które odlatują z ceną w kosmos w porównaniu do 3080.

 

37 minut temu, Sidr napisał(a):

multi-gpu.. ai restrykcje Trumpa wobec Chin.

Pisałem, że chodzi o multi-gpu. Co do 24GB, no może masz rację, że to bardzo duży skok.. Żeby odpalić np. takiego świetnie sie zapowiadającego Qwena 4 wystarczy już tylko kupić 3x5080 24GB zamiast 4x5070TI 16GB. Do tego płyta na minimum 4xgpu lub jakis chinsk izestaw serwerowy, potężny zasilacz, risery, gigawaty prundu i można sie bawić

Edytowane 4 godziny temu przez Sidr

[bofff 235]

w domu dense nie ma sensu, lepiej MOE na 192+48/64VRAM

qwen3.8 to nawet nie stał obok deepseeka, i do  tego  pójdą 5080, 

za ca 8k, jak paździerze 3090 chodzą po 5k, to sam dwie wezmę

[Lameismyname 4 384]

6 godzin temu, leven napisał(a):

Pite było ?

U Ciebie pewnie tak. Tradycja to tradycja hehe.

[Orchi 0]

2 godziny temu, Wu70 napisał(a):

Bo to bajki, 24 to bardzo duży skok, dokładasz kilka kart 24GB + 128GB ramu i możesz odpalać bardzo duże modele w domu.

Dlatego tak opłacalne są zestawy po kilka sztuk 3090 które odlatują z ceną w kosmos w porównaniu do 3080.

Ja dopiero zaczynam stawiac pierwsze kroki w tym calym AI . Mam LM studio qwen 27b q4 chyba ks.Do 3 kart jakie mobo sie sprawdza? chodzi mi o tryb pracy pcie. Musi byc jakis TR z duza iloscia linii? czy moze jest bez roznicy jak bedzie trzecie zlacze pciex4? po tym LM studio na co rzucic okiem?

[leven 1 080]

48 minut temu, Lameismyname napisał(a):

U Ciebie pewnie tak. Tradycja to tradycja hehe.

Każdy chop pyknie piwo, no chyba, że ma problemy ze sobą  

[Kadajo 11 077]

Ciekawe, czy Nvidia już się nie zabezpiecza na potencjalnie nadchodzący krach.

Ten 5080 nagle wyjątkowo szybko ma trafić na rynek.

 

 

[Mistrz zakonu Paladynów 971]

 

 

Prędkość zmienności informacji weszła w FTL  

Edytowane 46 minut temu przez Mistrz zakonu Paladynów

[Wu70 1 175]

49 minut temu, Orchi napisał(a):

Ja dopiero zaczynam stawiac pierwsze kroki w tym calym AI . Mam LM studio qwen 27b q4 chyba ks.Do 3 kart jakie mobo sie sprawdza? chodzi mi o tryb pracy pcie. Musi byc jakis TR z duza iloscia linii? czy moze jest bez roznicy jak bedzie trzecie zlacze pciex4? po tym LM studio na co rzucic okiem?

Do trzech kart z dzieleniem na warstwy ogarniesz na konsumenckich płytach, x8/x8 i gdzieś x4.

 

Poziom wyżej wchodź jak masz plany dokładać kolejne karty.

 

Po lm studio pewnie potestujesz podstawy bezpośrednio llama, vllm itd. można poeksperymentować z wieloma mniej powszechnymi opcjami, znajdziesz wiele testów i pomysłów:

 

https://www.reddit.com/r/LocalLLaMA/comments/1xguu4c/qwen38_27b_on_one_rtx_5090_comparing_six_engines/

 

[MarcoSimone 1 440]

Godzinę temu, leven napisał(a):

Każdy chop pyknie piwo, no chyba, że ma problemy ze sobą  

Tak mówi alkoholik