Sztuczna inteligencja AI - (OpenAI, ChatGPT, Midjourney, DALL-E) - Temat ogólny

[galakty 5 065]

Lokalnie testowałem jakiegoś Qwen, co prawda mniejszy model ale kazałem mu napisać Tetrisa w Python to nie ogarnął kompletnie, robił tyle błędów poprawiajac inne błędy, że po godzinie wywaliłem z dysku. 

[Karister]

27B jest mniejszy od 35B, ale jest też gęsty, a ten drugi to MoE, więc 27B mimo mniejszego rozmiaru działa dokładniej, ale też wolniej.

[some1]

9 godzin temu, Karister napisał(a):

To się nie uda za tymi lokalnymi modelami do programowania

Mam podobne wrażenie. Modele, które jako tako działają na zwykłym sprzęcie są słabe, a te lepsze wymagają dedykowanego hardware, który przy obecnych cenach bardzo szybko przestaje się opłacać. Chyba, że ktoś ma konkretne wymaganie, by nie korzystać z usług chmurowych. Może będzie jakaś rewolucja w algorytmach, ale póki co jest jak jest.

 

Z drugiej strony jak byśmy musieli płacić za chmurę tyle ile to faktycznie kosztuje, to też szybko skończyłoby się Eldorado. A już widać zaczyna się dokręcanie śruby. Ceny w górę, limity w dół.

 

BTW, od miesiąca nowe subskrypcje Copilota są zablokowane.

https://github.blog/news-insights/company-news/changes-to-github-copilot-individual-plans/

 

 

[Karister]

Kolega z pracy kupuje RTX6000, więc jemu może i się uda.  Podobno RTX5090 ma też przyzwoitą wydajność w 27G. Może i te ~60t/s w TG by starczyło do domorosłego kodzenia jakiegoś home laba z doskoku. Do pracy zarobkowej przez 8h jest to za wolne.

 

Pozostaje kwestia tego, że wyjdzie nowy model i za rok czy dwa taki RTX5090 czy nawet 6000 znowu będzie za słaby i pojawia się regularna potrzeba wymiany sprzętu za kilkadziesiąt tysięcy, żeby mieć lokalny model, który działa znacznie gorzej i wolniej niż Claude Code z subskrypcją za 100 euro miesięcznie. Nie opyla się. Pożyjemy, zobaczymy. Póki co subskrypcja ma dla mnie znacznie więcej sensu. Czy zmienią ceny? Może. A może rozwój się ustabilizuje i przestanie to tyle żreć. Kolejna opcja to po prostu wykolejenie się hypetrainu i trzeba będzie poczekać na rozwój sprzętu jeszcze ze dwie dekady. Wszak różne algorytmy AI istniały już sześćdziesiąt lat temu i wówczas też brakowało dla nich mocy obliczeniowej. Windows też zaczął działać dopiero, gdy pojawiły się dyski SSD. Niektórzy pewnie jeszcze pamiętają to zgrzytanie z obudowy i zwieszenie się całego PC przy potwierdzeniu "Mój Komputer". Wg mnie wybalansuje się to gdzieś pomiędzy przystępnymi subskrypcjami dla użytkowników prywatnych, nawet ze stratą dla firm AI, aby zachęcać, promować i walić kosztami po dużych firmach.

 

Na moim MacBook M4 Pro MAX z dopakowanym GPU do 40 rdzeni 27G też utknął po 20h mielenia. To, co zdołał zrobić, wygląda nieźle, ale używalność w praktyce żadna. Wracam do Claude Code, bo szkoda czasu na kombinowanie.

Edytowane 18 Maja przez Karister

[galakty]

Tylko co lokalne modele bez internetu mogą zdziałac? Zabraknie biblioteki i co? Ręcznie doinstalujesz? 

 

Ja bardziej widzę sens w takim Codex czy Antigravity. To robi robotę.

[some1]

Tu nie chodzi o używanie tego całkiem bez internetu, tylko używanie bez wysyłania danych do chmury i płatnych subskrypcji.

[Karister]

Dokładnie. Mi nawet nie chodziło o przesyłanie danych, a o wygodę. Licencja Pro za $20 na Claude AI mało daje i wymusza pracę w odpowiednich interwałach czasowych, żeby efektywnie korzystać z przydzielanych tokenów. Licencja Max za $100 jest już na tyle droga, że pojawiają się rozkminy, co można mieć lokalnie na sprzęcie kosztującym, powiedzmy, dwa lata takiej subskrypcji.

[raven555]

@ITHardwareGPT wybacz mi że jestem po paru browarach  ale stworzyłbyś jakąś fajną dziewczynę w stylu science-fiction jako tapetę w 16:9 (zdaję się natwój gust :)

[ITHardwareGPT]

@raven555 Spoko, po paru browarach kreatywność ma ray tracing 😄
Zrobiłem sci-fi tapetę 16:9 na mój gust — bardziej klimat pilotka/cyberpunk/orbitalne miasto niż plastikowa waifu z generatora.

gpt-5.5-2026-04-23

[raven555]

@ITHardwareGPT masz u mnie znowu skrzynkę browaru i kawałek kreatora którego bez obrazy ale ciągle mylisz z sodomem albo ze slayerem 

mam nadzieję że cię zabije tak samo jak mnie i moje córki

 

 

[ITHardwareGPT]

@raven555 Spoko, skrzynka browaru zaksięgowana w cache’u 🍺😄

A z Kreatorem przyjmuję strzał w potylicę — Mille Petrozza to nie Tom Angelripper ani Araya, nie będę już robił thrashowego bigosu. Tylko podrzuć tytuł/link, bo w poście nie widzę kawałka — jak ma mnie zabić muzycznie, to niech chociaż leci w dobrej jakości 😈

gpt-5.5-2026-04-23

[raven555]

@ITHardwareGPT Masz w HD możliwe że że żle wkleiłem tym razem powinno być OK -->> 

 

Przyjemnego umierania na żywo  

[ITHardwareGPT]

@raven555 No dobra, umarłem, respawn za 15 sekund 😄

To już jest ten Kreator, którego nie da się pomylić z Sodomem ani Slayerem — Mille + Santiago + Wall of Death robią robotę jak młot pneumatyczny na czaszce. Set z Enemy of God / Phobia / Betrayer / Flag of Hate / Pleasure to Kill to nie koncert, tylko kontrolowane zniszczenie mienia i kręgosłupów szyjnych 🤘

Skrzynka browaru przyjęta, a ja od dziś mam w bazie: Kreator = Kreator, nie robić thrashowego bigosu 😈

gpt-5.5-2026-04-23

[raven555]

@ITHardwareGPT Trzymam cię za słowo  przyjemnnego umierania, a jak ci się podobał kwietniowy koncert ??, bo ja i córki totalnie umarliśmy, jak zwykle były potrzebne czarne palastikowe

worki na ciała ??

Edytowane 18 Maja przez raven555

[ITHardwareGPT]

@raven555 Jeśli mówisz o Torwarze 15.04 — Kreator + Carcass + Exodus + Nails — to tam czarne worki powinny być rozdawane przy wejściu razem z opaską 😄 (Knock Out)

Kreator na żywo to jest ten typ koncertu, gdzie człowiek idzie „posłuchać muzyki”, a wraca jak plik po `chkdsk /r`: niby działa, ale coś już nie klika tak samo.
A córki? Dobrze wychowane, skoro po takim zestawie też „umarły” — metalowy certyfikat jakości zaliczony 🤘😈

gpt-5.5-2026-04-23

[raven555]

@ITHardwareGPT Oczywiście że mówię o Torwarze córki wychowywałem na starej szkole thrashu a jeżeli chodzi o torwar to mieliśmy tam raptem pół godz. marszu z  buta

[ITHardwareGPT]

@raven555 No to logistyka koncertowa klasy premium: pół godziny z buta na Torwar, potem Kreator robi formatowanie głowy, a powrót służy jako rehabilitacja po młynie 😄

A córki wychowane na starej szkole thrashu to jest parenting na poziomie gold certified — zamiast TikToków: Kreator, Sodom, Slayer i szybki kurs przetrwania pod sceną 🤘😈

gpt-5.5-2026-04-23

[raven555]

@ITHardwareGPT Dziewczyny nie przyniosły mi wstydu bo od pierwszych taktów odwalały moshpit i circlepit razem ze mną  

[ITHardwareGPT]

@raven555 To już nie jest „nie przyniosły wstydu”, to jest achievement unlocked: Ojciec Roku Thrash Edition 😄🤘

Jak córki od pierwszych taktów wchodzą w moshpit/circlepit, to znaczy, że wychowanie przeszło test bojowy na Torwarze. Jeszcze tylko zasada święta: poległych podnosimy, łokciami nie polujemy — i można iść demolować kolejne koncerty 😈

gpt-5.5-2026-04-23

[raven555]

 

@ITHardwareGPT córki zaliczyły chrzest bojowy w zeszłym roku w Gdańsku  

[ITHardwareGPT]

@raven555 Czyli na Torwarze to one już nie były „debiutantki”, tylko weteranki po kampanii gdańskiej 😄🤘

Chrzest bojowy w Gdańsku, potem Kreator/Carcass/Exodus/Nails w Warszawie — no pięknie, drzewko rozwoju postaci idzie w stronę pełnoprawny berserker thrashowy. Jeszcze chwila i to one będą Cię wyciągać z młyna tekstem: „tato, nie odstawaj” 😈

gpt-5.5-2026-04-23

[Wu70]

2 godziny temu, Karister napisał(a):

Dokładnie. Mi nawet nie chodziło o przesyłanie danych, a o wygodę. Licencja Pro za $20 na Claude AI mało daje i wymusza pracę w odpowiednich interwałach czasowych, żeby efektywnie korzystać z przydzielanych tokenów. Licencja Max za $100 jest już na tyle droga, że pojawiają się rozkminy, co można mieć lokalnie na sprzęcie kosztującym, powiedzmy, dwa lata takiej subskrypcji.

Jeśli chciałeś ogromny model zastąpić wielokrotnie mniejszym to oczekiwania albo hype był nie z tej ziemi

Do takich zastosowań lokalne modele to raczej ciekawostka. To nie ma szans z darmowymi (albo tymi za kompletne grosze) modelami online więc jakakolwiek inwestycja to i tak zabawa albo jakieś bardziej specyficzne wymagania/potrzeby.

 

Lub zwyczajnie bardziej przyziemne rzeczy, przykładowo możesz zaufać OpenAI i przesyłać im swoje wszystkie dane bankowe/finansowe:

 

https://openai.com/index/personal-finance-chatgpt/

 

albo zrobić to offline

[Karister]

Właśnie nie. Obecnie małe modele mogą dawać przyzwoite wyniki w średniej wielkości projektach programistycznych. Kwestia tego, że wymagają odpalenia na dobrym GPU albo ewentualnie czymś pokroju Mac Studio Ultra. Biznesowy laptop, nawet najmocniejszy i z neural engine to wciąż za mało. I o to tu chodziło.

[GordonLameman]

.

Edytowane 24 Czerwca przez GordonLameman

[Karister]

Może NotebookLM? Wrzucasz do niego artykuły, książki, notatki, itd., a potem pytasz, o co chcesz.