Na reddicie znalazłem ciekawszą tabelkę z porównaniem modeli - poniżej link do samego arkusza i wątku na reddit. W późniejszym czasie tabela ma zostać uzupełniona o wyniki benchmarków i resztę danych obecnie niedostępnych, także fajne źródło wiedzy w pigułce się zapowiada
Tabela z porównaniem modeli
Wątek na reddit
Mam 5070 Ti + 5060 Ti 16GB. W szufladzie leży jeszcze Radeon 9070, więc w razie potrzeby będę mógł zwiększyć ogólny VRAM do 48GB.
To jest właśnie cecha charakterystyczna budowy MoE: na karcie graficznej siedzi tylko kawałek modelu, który jest aktualnie w użyciu. Reszta nieużywana zostaje zmagazynowana w RAMie.
Jakiś czas temu wyszedł nawet nowy "silnik" do modeli MoE o nazwie Strata. W dynamiczny sposób zarządza nieużywanymi warstwami modelu, przez co jest szybciej niż w przypadku użycia llamy.cpp.
W każdym razie - ma Amazonie jest teraz MSI Z890 Gaming Plus w ludzkiej cenie (700 PLN) i tak się zastanawiam, czy może tego by nie zamówić.
Te większe kostki Micron chyba też nie są złe, z tego co pamiętam. Ale tak czy inaczej 4 moduły Dual Rank, to raczej nie ma co oczekiwać wysokich zegarów.
No i elegancko, tylko musisz stabilność porządnie wytestowac. Lecisz na pojedynczej karcie czy będziesz stakował? Bo wtedy przy dużych modelach raczej i tak nie unikniesz offloadowania VRAMu.
My przez ostatnie 2 lata przerobiliśmy już mnóstwo takich asów opornych na AI, bo to bo tamto, bo znalazł błąd w wyniku AI i chodził dumny jak paw
Czas to wszystko zweryfikował i nie ma odwrotu, dostosowujesz się albo stajesz się nieistotny.
To jest mocna strona modeli która działa tak dobrze że Anthropic powoli kombinuje jak to ograniczyć i reszta może iść za nimi.
Internet jest zalany RE na poziomie vibe codowania bo tak niewiele trzeba w przeciętnych przypadkach
W analizie każdy model więc zaczynasz od Astry i Opusa.
A jak coś więcej to zostaje chińczyk.
Podeślij, sprawdzimy
Rekomendowane odpowiedzi
Opublikowane przez bokiel,
8 reakcji
Pokaż odpowiedź
Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto
Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.
Zarejestruj nowe konto
Załóż nowe konto. To bardzo proste!
Zarejestruj sięZaloguj się
Posiadasz już konto? Zaloguj się poniżej.
Zaloguj się