Amsztel

@Latest Trick Nic nie zakladalem, chill out man. Istnieje cos takiego jak temperatura punktu rosy. Dlatego wystawianie chlodnicy na zewnatrz przy duzej dobowej amplitudzie temperatur (np. jak w PL - w dzien max 26C a w nocy powiedzmy 12C) robi sie bardzo problematyczne. Generalnie przy ukladach chlodzenia ciecza chcesz jak najbardziej kontrolowac temperature plynu w ukladzie, wystawienie chlodnicy na zewnatrz mocno psuje te idee. Na pewno wiesz co sie dzieje z butelka zimnej wody wyciagnietej z lodowki i postawionej na stole w temperaturze pokojowej. Nie chcialbys obudzic sie pewnego ranka i zobaczyc skroplonej pary wodnej z powietrza na elementach ukladu/komputera. Zalozmy, ze masz T_pokoju = 25C oraz wilgotnosc 60%. Temperatura punktu rosy to bedzie jakies 17C. Wystarczy, ze temperatura na zewnatrz nad ranem zrobi sie 12C i bedzie problem - duze ryzyko kondensacji pary wodnej!

To bardzo, ale to bardzo zly pomysl. Dlaczego? Fizyka, a konkretnie hydrodynamika sie klania

Dobry link!

Nie no, spoko. Cos tam staralem sie zagadac w watku o AI, ale tam to glownie skladowisko memow + czasem @Wu70 cos wrzuci interesujacego ale bez wiekszego posluchu Choc wydaje mi sie, ze to raczej absolutne podstawy i kazdy tutaj je ogarnia, nie wiem... W duzym uproszczeniu masz 3 rzeczy, o ktorych musisz myslec chcac odpalac LLM'y lokalnie, czyli: 1) ilosc parametrow, 2) kwantyzacja oraz 3) dlugosc kontekstu. Ad1) Np. masz model z 30B parametrow (3e10 parametrow) - tzw. ilosc wag modelu. Ponownie - mocno uproszczajac to po prostu liczby, ktore okreslaja w jaki sposob siec neuronowa przeksztalca token w kolejny token. Im wiecej parametrow (liczb) tym potencjalnie lepiej dany model bedzie 'sprytniejszy' (rzecz jasna jakosc treningu danego modelu jest tu bardzo wazna, dlatego napisalem: potencjalnie). Wagi, o ktorych mowa w poprzednich zdaniach zalozmy, ze sa zapisywane jako liczby zmiennoprzecinkowe (FP16) czyli 16 bitow na wage. No i powiedzmy, ze masz model z 30B parametrow * 16b (2B) kazdy parametr to ci wychodzi w totalu 60GB - troche slabo, niezaleznie od tego czy masz 32GB czy 48GB na GPU to i tak sie nie zmiesci. I to ladnie prowadzi nas do... Ad2)...kwantyzacji - bo powiedzmy, ze ja chce jednak taki model jakos zmiescic i wtedy stosuje taki myk, ze kazda wage zapisuje ze zwiekszonym bledem obciecia - czyli np. zamiast 3.14159265 zestoruje to jako 3.1416. Wiadomo, ze wzgledu na blad obciecia strace nieco precyzji... ALE jezeli rozumiem w jaki sposob zmniejszenie precyzji wplywa na ogolna jakosc danego modelu to bede mogl zmiescic taki model na karcie z mniejsza iloscia pamieci, jednoczesnie nie tracac zbyt wiele na jego jakosci. No i stad kiedy patrzysz sobie na nazwe jakiegos modelu, np. Qwen3:30B-Q2 to od razu jestes w stanie powiedziec: jaki model (Qwen3), ile ma parametrow (30B) oraz jaka jest kwantyzacja (Q2 - czyli storuje 2^2=4 bity na wage). Ad3)Do tego mega wazna jest jeszcze tzw. dlugosc kontekstu czyli jak dlugo model bedzie pamietac o czym z nim gaworzysz a to tez zajmuje wiecej pamieci im chcesz miec wiekszy kontekst.

Ad1. Masz tez wersje workstation czyli blowery takze to nie problem, chociaz wiadomo ze do rackow tylko wersje serwerowe Ad2. Teoretycznie tak, ale w praktyce wyglada to tak, ze modele ~30B zmiescisz w 24GB vramu a modeli 40B+ nie zmiescisz w 32GB vramu. Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. W kazdym razie to "wiele zastosowan" w praktyce ograniczy sie do czegos typu, ze chcesz odpalac modele wieksze niz 30B ale mniejsze niz 40B . Takze troche niszowa sytuacja imho... Przy 48GB pamieci mozesz juz sie solidnie przymierzyc i dzialac na modelach 70B z 4-bitowa kwantyzacja.

No tak, kazdy chce ugryzc kawalek tego hajpowanego tortu. A co do mafii pamieciowej to mam wrazenie, iz nVidia to jest aktualnie final bossem tej mafii

Roznica jest niewielka jesli chodzi o bandwidth, a dodatkowe 16GB ramu robi DUZA roznice. Z tymi dwiema 3090'tkami to nie jest takie proste niestety. Sam mam 3090 i to byla moja pierwsza mysl - dolozyc druga. (Swoja droga widzieliscie ceny uzywek 3090? Crazy ). Jesli uda mi sie dostac grant naukowy to wlasnie bede chcial wymienic GPU, 3090 naprawde mi dobrze sluzyla przez ostatnie 6 lat - super karta. I wlasnie zaczalem sie rozeznawac jak to aktualnie wyglada jesli chodzi o sytuacje na rynku GPU i doslownie glowa mnie rozbolala od tego wszystkiego Karty z 96GB ramu beda niestety poza moim zasiegiem finansowym. Do gamingu to mam osobnego kompa z RX 9070. Bardzo fajna karta

Zdaje sobie sprawe z mozliwosci 5090. Jednak patrzac na ceny nie jestem w stanie zrozumiec kto inny niz gracze moze ja kupowac. Karty jak RTX PRO 5000 (Blackwell) z 48GB GDDR7 pamieci mozesz kupic w okolicach 25-26k i ta doplata ponad cene RTX 5090 za kolejne 16GB pamieci to najlepiej wydane pieniadze, jesli ktos potrzebuje karte do AI. Z drugiej strony masz RTX PRO 4500 (rowniez Blackwell) z 32GB za okolo 13-14k i obydwie te karty faktycznie widzialem w nowych (albo raczej unowoczesnionych) serwerach. Z reszta 5090 to nawet nie mialbyc jak wlozyc do faktycznych serwerowych obudow. Jest jeszcze opcja kupna uzywanych A6000 Ampere (48GB) w okolicach 17k - dobra rzecz dla tych, ktorzy poza praca jeszcze w domu cisna lokalne modele. Chociaz wiadomo ze i PRO 5000 ludzie kupuja do domowych workstation.

@Radio Tirana Tak, sytuacje sklepow jestem w stanie zrozumiec, stad bylo moje pytanie kto aktualnie wali takie narzuty na GPU.

Okej to kto tak winduje ceny np. RTX 5090. Sa dostepne od premiery, caly czas w sklepach, ceny niby mialy byc w okolicach 10-12k a w praktyce sa po 20k (a ostatnio nawet wiecej ). HPC czy tez szeroko pojeca branza AI z tego typu kart nie korzysta. Ja wiem, ze nie jestem bystrzakiem jesli chodzi o zachowanie rynkow czy ekonomie. Po prostu tego nie rozumiem.

Oczywiscie, masz racje. Tyle, ze ceny nie spadaja - to raczej nie jest normalne zachowanie rynku

My friend, please... Ceny sa takie gdyz wlasnie gracze te karty kupuja. (Prawie) wszystkie RTXy, ktore widzisz po tych chorych cenach kupuja wlasnie gracze i nikt inny. Ja na miejscu sklepow i skalpelow to - jak slusznie zauwazyl @JeRRyF3D - kasowalbym jeszcze wiecej

Jak myslicie ile jeszcze ceny karty pojda w gore? Ciekawi mnie jaki jest prog, po ktorym ludzie stwierdza, ze jednak nie chca kupowac nowych kart ;p

Wiele rzeczy, ktore napisales - jest nieprawdziwe. Co jednak uderza mnie najbardziej to fakt, ze mylisz inzynierie z nauka. Rzecz jasna zdissowales tez przyklady, o ktore sam prosiles. Teoria pola - masz racje - nie wziela sie znikad, wziela sie z glowy Michaela Faradaya. Jak wiele innych rzeczy, ktore wydawaly sie samym naukowcom tak absurdalne, iz poczatkowo je sami odrzucali. Ale o tym sie nie bede rozpisywal, kazdy moze sie doedukowac we wlasnym zakresie w tej materii.

Najbardziej znane to... koło z nowszych to chociazby teoria pola elektromagnetycznego (Faraday oraz Maxwell), cala mechanika kwantowa... chociaz mam wrazenie ze sie rozmijamy gdyz napisales, ze nie rozwijamy sie bez zasadniczych skokow - a jest wrecz przeciwnie - skoki sa i byly OLBRZYMIE (na przyklad podwojenie sredniej dlugosci zycia w ciagu 100 lat - to juz nawet nie skok tylko istna przepasc).