Sztuczna inteligencja AI - (OpenAI, ChatGPT, Midjourney, DALL-E) - Temat ogólny

[Zas 480]

1 godzinę temu, nozownikzberlina napisał(a):

to nie jest nieuprawniony dostęp do danych, bo tam żadnej autoryzacji nie było z tego co czytam

to nie jest nawet włamanie per se, bo ktoś udostępnił to api

Oczywiście, że jest to nieuprawniony dostęp, przynajmniej w Polsce, nie wiem, jak w Australii  

[nozownikzberlina]

Godzinę temu, Kris194 napisał(a):

Czy jeśli zostawię drzwi otwarte to znaczy, że możesz wejść do domu i opróżnić lodówkę?

nie zostawiasz mi otwartych drzwi, tylko klucz który je otwiera

 

Godzinę temu, Zas napisał(a):

Oczywiście, że jest to nieuprawniony dostęp, przynajmniej w Polsce, nie wiem, jak w Australii  

z technicznego punktu widzenia to nie jest nieuprawniony dostęp, bo uprawnienia były. Gdyby uprawnień nie było, to klient dostałby access denied próbując wykonać jakąś akcję

 

 

[Zas]

Ale z prawnego jest, a o tym chyba pisałeś?

[nozownikzberlina]

1 minutę temu, Zas napisał(a):

Ale z prawnego jest, a o tym chyba pisałeś?

ale po czym stwierdzasz, że jest nieuprawniony? może celowo tak to zaprojektowano, skąd wiesz, że nie? da się to udowodnić?

 

[Wu70]

Bardzo ciekawy news od OpenAI, umowa z Cerebras się materializuje w topowych modelach:

 

https://openai.com/index/previewing-ultrafast/

 

14x szybciej na układach od Cerebras, 750 tokenów na sekundę!

 

Dla przypomnienia Cerebras to dedykowane układy do AI single wafer-scale chip z ogromną pamięcią SRAM, innymi słowy czysta, bydlęca moc!

Żadnej nvidii, żadnych pamięci HBM, jedyny wpływ na rynek to trochę wafli u TSMC.

FYI @Kadajo 

 

Już teraz Gemini flash (300+ tokenów) jest mega szybkie ale 750 to kosmos.

 

A skoro mowa o Gemini, kolejna niespodziewana premiera małego modelu Gemini 3.7 Flash:

 

https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-3-7-flash/

[Bono_UG]

A jaki mają uzysk w produkcji tych układów? Skoro pojedynczy układ to cały wafel, to czy drobny defekt nie psuje całości? W efekcie koszt może nie być mały, moce produkcyjne nadal zapchane.

 

Z tą pamięcią też nie jest tak super. Dla małych modeli, co się zmieszczą w tych 44GB na "czipie" będzie super. Dla większych trzeba te układy łączyć w sieć, co niweluje zalety posiadania wszystkiego w jednym układzie i zmniejszy wydajność. Tutaj Nvidia może nadal być lepszym rozwiązaniem.

 

Jak z odprowadzaniem ciepła? 25kW to nie jest mało, nie jest łatwo.

 

Nie wróżę rychłego końca problemu z kosztami kart i pamięci.

Podaż tych układów jest ograniczona, koszty zakupu i postawienia sprzętu wysokie. Dla wielu rozwiązań serwer z kartami graficznymi nadal będzie dużo prostszym i tańszym rozwiązaniem.

[Zas]

Pewnie są jakieś zdublowane albo nadmiarowe struktury, w normalnych chipach też chyba tak to wygląda? 

[Bono_UG]

W normalnych np. ucinają kilka rdzeni i puszczają jako niższy model. Według dokumentu od Cerebras część układów ma nadmiarowe rdzenie i nie wszystkie są włączone.

Sami w sumie poszli w podobny model, tylko zamiast kilkudziesięciu układów na wafel, to mają prawie milion drobnych rdzeni i programowalną siatkę połączeń między nimi.

https://cdn.sanity.io/files/e4qjo92p/production/d90ea54a0a68ba52426113d132b729f91ec17156.pdf

 

Czyli moje obawy o uzysk są mniej zasadne.

[Wu70]

To akurat nie jest wielka zagadka, w tym i innych chipach po prostu finalny produkt zazwyczaj nie zawiera 100% aktywnych elementów:

 

 

Godzinę temu, Bono_UG napisał(a):

A jaki mają uzysk w produkcji tych układów? Skoro pojedynczy układ to cały wafel, to czy drobny defekt nie psuje całości? W efekcie koszt może nie być mały, moce produkcyjne nadal zapchane.

 

TLDR; mają lepsze liczby niż Nvidia GPU 

• Tutaj cały projekt od początku jest stworzony z myślą o maksymalnej odporności na defekty.
  Poszli drogą bardzo małych corów, tutaj jeden defekt wyłącza ~0.05mm2 układu, dla H100 jeden defekt to wyłączone ~6mm2.
• Do tego zaprojektowali routing między corami z myślą o omijaniu corów z defektami.
• Trochę zapasowych corów

Więcej do poczytania właśnie na ten temat:
https://www.cerebras.ai/blog/100x-defect-tolerance-how-cerebras-solved-the-yield-problem

 

Godzinę temu, Bono_UG napisał(a):

Z tą pamięcią też nie jest tak super. Dla małych modeli, co się zmieszczą w tych 44GB na "czipie" będzie super. Dla większych trzeba te układy łączyć w sieć, co niweluje zalety posiadania wszystkiego w jednym układzie i zmniejszy wydajność. Tutaj Nvidia może nadal być lepszym rozwiązaniem.

Generalnie to nie jest sprzęt dla małych modeli, małe modele to bardziej proof of concept gdzie kręciły jeszcze lepsze liczby, 1000+ tokenów/s GPT 5.3 Spark był dostępny testowo od dłuższego czasu na Cerebras.

Ich produkt to właśnie takie lodówki które łączą kilkadziesiąt takich wafli-układów.

 

A łączenie układów nie niweluje zalet kiedy zdasz sobie sprawę że alternatywą jest łączenie jeszcze większej ilości układów GPU.

Innymi słowy: popatrz na te wafle i zobacz ile zewnętrznych połączeń zostało zaoszczędzone.

 

 

 

 

Dlatego tak istotna jest premiera TOPOWEGO dużego modelu gdzie masz boost 11-14x i widzisz że nic nie zostało zniwelowane, to po prostu działa i przeszli z teorii do praktyki.

 

PS. Łączenie układów to też szeroki temat gdzie są ogromne inwestycje.

Jednym ze znanych przykładów jest Credo Technology które obiecuje fantastyczne łączenie układów i oczywiście jest spompowane przez to na giełdzie

Edytowane 16 Sierpnia przez Wu70

[Kris194]

Jak przychodzi co do czego to okazuje się, że stary, dobry podatek jest najlepszy...

[galakty]

Są dobre i złe podatki, ale tych dobrych to już chyba dawno nie wprowadzali  

[oldfashioned]

No i super, AI jest juz inteligentniejsze od Karyny - wiec Karyna w zapomnienie, to teraz wszyscy sie zrzucimy na to zeby Karyna dostala zasilek od AI.

 

My abo na AI i podatek od uzytkowania, Karyna zasilek  Wzialby sie Putin juz ogarnal i zaczal to atomowa bo nie ma sensu tego ciagnac. 

[areczek1987]

 

 

[Camis]

Powiem wam że ten Gemini Flash 3.7 jest świetny i bardzo tani a jaką ma szybkość odpowiedzi 

 

Potrzebowałem aplikacji do e-bike która wyświetla dane z komputera pokładowego.

 

Od napisania porządnego prompta z wymaganiami do odpalenia aplikacji w Android Studio minęło może 20 minut, po małym debugowaniu po 35 minutach miałem to co chciałem i o dziwo działa ok.

 

Spaliłem 50 tysięcy tokenów za ~65 groszy  tzn ja nic nie zapłaciłem bo korzystam z darmowej wersji na AI Studio 

Edytowane 17 Sierpnia przez Camis

[Wu70]

To teraz wyobraź sobie że modele na Cerebras są 2-3x szybsze od 3.7 Flash i do tego większe

[Camis]

 

23 godziny temu, Wu70 napisał(a):

To teraz wyobraź sobie że modele na Cerebras są 2-3x szybsze od 3.7 Flash i do tego większe

A za jakie pieniąszki ja się pytam?, na co to komu potrzebne!!1 

[Kadajo]

To nie AI jest problem a glupi czlowiek.

[Camis]

 

 

Masakra  

 

 

 

Edytowane 18 Sierpnia przez Camis

[DżonyBi]

34 minuty temu, Kadajo napisał(a):

To nie AI jest problem a glupi czlowiek.

AI to narzędzie, a człowiek to operator. Inteligentny operator dzięki AI może zwiększyć swoje możliwości, głupi operator pogłębia własną głupotę.

 

Tak samo jest z pieniędzmi. Głupek jak ukradnie mądremu wszystkie pieniądze to za rok-dwa i tak będzie gołodupcem. Mądry za rok-dwa znów będzie miał pieniądze.

Edytowane 18 Sierpnia przez DżonyBi

[Kadajo]

A jak operator jest inteligentny, ale ma złe zamiary ? 

[DżonyBi]

4 minuty temu, Kadajo napisał(a):

A jak operator jest inteligentny, ale ma złe zamiary ? 

Jak ktoś ma złe zamiary to i kuchenne nożyczki mogą być zagrożeniem.

Edytowane 18 Sierpnia przez DżonyBi

[Kadajo]

Masz przykład, jak omijać prawo i dokonywać rzeczy, których chyba raczej nie popierasz (przynajmniej mam taką nadzieję), i wszystko tylko po to, aby zarobić na AI.

Tak jak pisałem, problem nie jest AI sam w sobie, a ludźi, którzy je wykorzystują; w tym przypadku to korporacje.

A jeśli uważasz, że korporacje rozwijają AI dla dobra ludzkości, to jesteś naiwny jak dziecko.

Ai jest rozwijana tylko i wyłącznie w celach finansowych i ich nie interesuje, czy będziesz leczył raka czy zabijał ludzi, tworzył dzieła sztuki czy je niszczył.

Az się tutaj prosi o słynny cytat z Parku :

 

 

Nie bójmy się AI, tylko tych, którzy za nim stoją.

Bo chyba bardziej niebezpiecznego „narzędzia” w ich rękach dotychczas nie było.

[DżonyBi]

Hitler bez AI rozpętał wojnę, która pochłonęła kilkadziesiąt milionów ludzi. Korpo zawsze było nastawione na zysk, człowiek jest narzędziem w tym chorym układzie. Pracowałem w korpo kilka lat i doceniam to doświadczenie, bo niezależnie od tego co robię w życiu, z tyłu głowy mam satysfakcję, że nie pracuje już w tym kieracie.

[Kadajo]

W sumie racja, z ludzką naturą jeszcze chyba nikt nie wygrał. 

[areczek1987]