Amsztel

@Latest Trick Nic nie zakladalem, chill out man. Istnieje cos takiego jak temperatura punktu rosy. Dlatego wystawianie chlodnicy na zewnatrz przy duzej dobowej amplitudzie temperatur (np. jak w PL - w dzien max 26C a w nocy powiedzmy 12C) robi sie bardzo problematyczne. Generalnie przy ukladach chlodzenia ciecza chcesz jak najbardziej kontrolowac temperature plynu w ukladzie, wystawienie chlodnicy na zewnatrz mocno psuje te idee. Na pewno wiesz co sie dzieje z butelka zimnej wody wyciagnietej z lodowki i postawionej na stole w temperaturze pokojowej. Nie chcialbys obudzic sie pewnego ranka i zobaczyc skroplonej pary wodnej z powietrza na elementach ukladu/komputera. Zalozmy, ze masz T_pokoju = 25C oraz wilgotnosc 60%. Temperatura punktu rosy to bedzie jakies 17C. Wystarczy, ze temperatura na zewnatrz nad ranem zrobi sie 12C i bedzie problem - duze ryzyko kondensacji pary wodnej!

To bardzo, ale to bardzo zly pomysl. Dlaczego? Fizyka, a konkretnie hydrodynamika sie klania

Dobry link!

Nie no, spoko. Cos tam staralem sie zagadac w watku o AI, ale tam to glownie skladowisko memow + czasem @Wu70 cos wrzuci interesujacego ale bez wiekszego posluchu Choc wydaje mi sie, ze to raczej absolutne podstawy i kazdy tutaj je ogarnia, nie wiem... W duzym uproszczeniu masz 3 rzeczy, o ktorych musisz myslec chcac odpalac LLM'y lokalnie, czyli: 1) ilosc parametrow, 2) kwantyzacja oraz 3) dlugosc kontekstu. Ad1) Np. masz model z 30B parametrow (3e10 parametrow) - tzw. ilosc wag modelu. Ponownie - mocno uproszczajac to po prostu liczby, ktore okreslaja w jaki sposob siec neuronowa przeksztalca token w kolejny token. Im wiecej parametrow (liczb) tym potencjalnie lepiej dany model bedzie 'sprytniejszy' (rzecz jasna jakosc treningu danego modelu jest tu bardzo wazna, dlatego napisalem: potencjalnie). Wagi, o ktorych mowa w poprzednich zdaniach zalozmy, ze sa zapisywane jako liczby zmiennoprzecinkowe (FP16) czyli 16 bitow na wage. No i powiedzmy, ze masz model z 30B parametrow * 16b (2B) kazdy parametr to ci wychodzi w totalu 60GB - troche slabo, niezaleznie od tego czy masz 32GB czy 48GB na GPU to i tak sie nie zmiesci. I to ladnie prowadzi nas do... Ad2)...kwantyzacji - bo powiedzmy, ze ja chce jednak taki model jakos zmiescic i wtedy stosuje taki myk, ze kazda wage zapisuje ze zwiekszonym bledem obciecia - czyli np. zamiast 3.14159265 zestoruje to jako 3.1416. Wiadomo, ze wzgledu na blad obciecia strace nieco precyzji... ALE jezeli rozumiem w jaki sposob zmniejszenie precyzji wplywa na ogolna jakosc danego modelu to bede mogl zmiescic taki model na karcie z mniejsza iloscia pamieci, jednoczesnie nie tracac zbyt wiele na jego jakosci. No i stad kiedy patrzysz sobie na nazwe jakiegos modelu, np. Qwen3:30B-Q2 to od razu jestes w stanie powiedziec: jaki model (Qwen3), ile ma parametrow (30B) oraz jaka jest kwantyzacja (Q2 - czyli storuje 2^2=4 bity na wage). Ad3)Do tego mega wazna jest jeszcze tzw. dlugosc kontekstu czyli jak dlugo model bedzie pamietac o czym z nim gaworzysz a to tez zajmuje wiecej pamieci im chcesz miec wiekszy kontekst.

Ad1. Masz tez wersje workstation czyli blowery takze to nie problem, chociaz wiadomo ze do rackow tylko wersje serwerowe Ad2. Teoretycznie tak, ale w praktyce wyglada to tak, ze modele ~30B zmiescisz w 24GB vramu a modeli 40B+ nie zmiescisz w 32GB vramu. Generalizuje rzecz jasna, nie bede sie wglebial teraz w formaty kwantyzacji czy dlugosc kontekstu. W kazdym razie to "wiele zastosowan" w praktyce ograniczy sie do czegos typu, ze chcesz odpalac modele wieksze niz 30B ale mniejsze niz 40B . Takze troche niszowa sytuacja imho... Przy 48GB pamieci mozesz juz sie solidnie przymierzyc i dzialac na modelach 70B z 4-bitowa kwantyzacja.

No tak, kazdy chce ugryzc kawalek tego hajpowanego tortu. A co do mafii pamieciowej to mam wrazenie, iz nVidia to jest aktualnie final bossem tej mafii

Roznica jest niewielka jesli chodzi o bandwidth, a dodatkowe 16GB ramu robi DUZA roznice. Z tymi dwiema 3090'tkami to nie jest takie proste niestety. Sam mam 3090 i to byla moja pierwsza mysl - dolozyc druga. (Swoja droga widzieliscie ceny uzywek 3090? Crazy ). Jesli uda mi sie dostac grant naukowy to wlasnie bede chcial wymienic GPU, 3090 naprawde mi dobrze sluzyla przez ostatnie 6 lat - super karta. I wlasnie zaczalem sie rozeznawac jak to aktualnie wyglada jesli chodzi o sytuacje na rynku GPU i doslownie glowa mnie rozbolala od tego wszystkiego Karty z 96GB ramu beda niestety poza moim zasiegiem finansowym. Do gamingu to mam osobnego kompa z RX 9070. Bardzo fajna karta

Zdaje sobie sprawe z mozliwosci 5090. Jednak patrzac na ceny nie jestem w stanie zrozumiec kto inny niz gracze moze ja kupowac. Karty jak RTX PRO 5000 (Blackwell) z 48GB GDDR7 pamieci mozesz kupic w okolicach 25-26k i ta doplata ponad cene RTX 5090 za kolejne 16GB pamieci to najlepiej wydane pieniadze, jesli ktos potrzebuje karte do AI. Z drugiej strony masz RTX PRO 4500 (rowniez Blackwell) z 32GB za okolo 13-14k i obydwie te karty faktycznie widzialem w nowych (albo raczej unowoczesnionych) serwerach. Z reszta 5090 to nawet nie mialbyc jak wlozyc do faktycznych serwerowych obudow. Jest jeszcze opcja kupna uzywanych A6000 Ampere (48GB) w okolicach 17k - dobra rzecz dla tych, ktorzy poza praca jeszcze w domu cisna lokalne modele. Chociaz wiadomo ze i PRO 5000 ludzie kupuja do domowych workstation.

@Radio Tirana Tak, sytuacje sklepow jestem w stanie zrozumiec, stad bylo moje pytanie kto aktualnie wali takie narzuty na GPU.

Okej to kto tak winduje ceny np. RTX 5090. Sa dostepne od premiery, caly czas w sklepach, ceny niby mialy byc w okolicach 10-12k a w praktyce sa po 20k (a ostatnio nawet wiecej ). HPC czy tez szeroko pojeca branza AI z tego typu kart nie korzysta. Ja wiem, ze nie jestem bystrzakiem jesli chodzi o zachowanie rynkow czy ekonomie. Po prostu tego nie rozumiem.

Oczywiscie, masz racje. Tyle, ze ceny nie spadaja - to raczej nie jest normalne zachowanie rynku

My friend, please... Ceny sa takie gdyz wlasnie gracze te karty kupuja. (Prawie) wszystkie RTXy, ktore widzisz po tych chorych cenach kupuja wlasnie gracze i nikt inny. Ja na miejscu sklepow i skalpelow to - jak slusznie zauwazyl @JeRRyF3D - kasowalbym jeszcze wiecej

Jak myslicie ile jeszcze ceny karty pojda w gore? Ciekawi mnie jaki jest prog, po ktorym ludzie stwierdza, ze jednak nie chca kupowac nowych kart ;p

Wiele rzeczy, ktore napisales - jest nieprawdziwe. Co jednak uderza mnie najbardziej to fakt, ze mylisz inzynierie z nauka. Rzecz jasna zdissowales tez przyklady, o ktore sam prosiles. Teoria pola - masz racje - nie wziela sie znikad, wziela sie z glowy Michaela Faradaya. Jak wiele innych rzeczy, ktore wydawaly sie samym naukowcom tak absurdalne, iz poczatkowo je sami odrzucali. Ale o tym sie nie bede rozpisywal, kazdy moze sie doedukowac we wlasnym zakresie w tej materii.

Najbardziej znane to... koło z nowszych to chociazby teoria pola elektromagnetycznego (Faraday oraz Maxwell), cala mechanika kwantowa... chociaz mam wrazenie ze sie rozmijamy gdyz napisales, ze nie rozwijamy sie bez zasadniczych skokow - a jest wrecz przeciwnie - skoki sa i byly OLBRZYMIE (na przyklad podwojenie sredniej dlugosci zycia w ciagu 100 lat - to juz nawet nie skok tylko istna przepasc).

Mozliwe, ze nigdy nie bedziemy latali do innych galaktyk. Ewolucyjnie nasz gatunek sie do tego nie nadaje To nie wiem gdzies Ty chowal przez ostatnie 200 lat

Gdyby tak bylo to nie powstalaby nasza cala cywilizacja techniczna no ale OK Nawet troche rozumiem dlaczego wiele osob, ktore nie maja do czynienia z nauka tak mysli...

Beda pasowaly, Twoja plyta to juz generacja Skylake. Dobry zasilacz za niewielkie pieniadze to np. Enermax Revolution III 850W za ~360zł, 7 lat gwarancji. Mocy Tobie raczej z nim nie braknie.

Dokladnie. LLM'y to po prostu 'troche' bardziej dokokszone kalkulatory, to nie jest zadna magiczna sztuczna inteligencja. To, ze korpo takiej nazwy uzywa zeby budowac hajp to juz inna sprawa. Trzeba sie po prostu lekko doedukowac a nie sluchac tego, co na internetach pisza ludzie, ktorzy nie maja o tym pojecia.

Nowe Radeony to pewnie za 1.5 roku wyjda wiec mozesz sie rozgladac baaaaaardzo powoli ;p Ale jesli chcesz po prostu kupic nowy zasilacz bo taki masz kaprys to rzecz jasna nikt Tobie nie broni Seasonic wciaz robi swietne i bardzo ciche zasilacze btw.

Pytanie po co zmieniac dobrze dzialajacy, wydajny i cichy zasilacz? Ten ktory masz, spokojnie pociagnie kolejne 6 lat a sprzet w Twojej sygnaturce nie potrzebuje niczego mocniejszego niz 650W.

Tak to dziala i jest wiadome od zawsze. Nie rozumiem skad to zdziwienie ludzi, ze tak jest.

Tego nie wiem, musialbys zajrzec do manuala ale ja nie widze na zdjeciach zadnych wyprowadzen w celu zczytania wartosci zarowno flow jak i temperatury. Wg. mnie to zabawka, pewnie wyswietla tylko na swoj ekran OLED i nawet ciezko stwierdzic czy te pomiary sa reliable. Kup Aquacomputer High Flow 2 - po pierwsze on miedzy zarowno przeplyw jak i temperature coolantu, po drugie robi to precyzyjnie. A po trzecie masz osobne wyprowadzenia zarowno do flow jak i temp. Podlaczasz wszystko do Octo/Quadro i kontrolujesz z poziomu aquasuite.

Tak jak kolega na gorze napisal - zamiawiasz wszystko w angeli. Po Twoim pierwszym poscie widac, ze nie przemyslales calego ukladu kompleksowo przed zlozeniem wiec teraz warto to zrobic. Nie wiem co to znaczy "miernik barrow OLED" gdyz nie napisales co on mierzy. Powinienes sie zaopatrzyc w porzadny i reliable przeplywomierz - TUTAJ masz wersje normalna a TUTAJ wersje RGB+OLED. Te przeplywomierze posiadaja termistor, dzieki ktoremu bedziesz mogl sterowac obrotami wentylatorow w zaleznosci od temperatury coolantu. Jest to imho jedyne dobre rozwiazanie przy poprawnie ogarnietym custom LC. Do tego zamow odpowiednie przejsciowki gdyz Aquacomputer posiada swoje wlasne (proprietary) wtyczki. Przyda sie zatem np. TAKI adapter (jesli chcesz sterowac tez elementami ARGB). Musisz sobie to wszystko przemyslec i kupic rzeczy, ktorych bedziesz potrzebowal. Idea jest taka, ze do plyty glownej masz podpiety tylko i wylacznie kabel USB od octo/quadro a do niego podlaczasz doslownie wszystko: wentylatory, pompy, termistory, przeplywomierze itd.

Wywal te splittery i podlacz wszystko do Aquacomputer Quadro/Octo. Sterowanie - Aquasuite.