Sztuczna inteligencja AI - (OpenAI, ChatGPT, Midjourney, DALL-E) - Temat ogólny

[Zas 462]

1 godzinę temu, nozownikzberlina napisał(a):

to nie jest nieuprawniony dostęp do danych, bo tam żadnej autoryzacji nie było z tego co czytam

to nie jest nawet włamanie per se, bo ktoś udostępnił to api

Oczywiście, że jest to nieuprawniony dostęp, przynajmniej w Polsce, nie wiem, jak w Australii  

[nozownikzberlina]

Godzinę temu, Kris194 napisał(a):

Czy jeśli zostawię drzwi otwarte to znaczy, że możesz wejść do domu i opróżnić lodówkę?

nie zostawiasz mi otwartych drzwi, tylko klucz który je otwiera

 

Godzinę temu, Zas napisał(a):

Oczywiście, że jest to nieuprawniony dostęp, przynajmniej w Polsce, nie wiem, jak w Australii  

z technicznego punktu widzenia to nie jest nieuprawniony dostęp, bo uprawnienia były. Gdyby uprawnień nie było, to klient dostałby access denied próbując wykonać jakąś akcję

 

 

[Zas]

Ale z prawnego jest, a o tym chyba pisałeś?

[nozownikzberlina]

1 minutę temu, Zas napisał(a):

Ale z prawnego jest, a o tym chyba pisałeś?

ale po czym stwierdzasz, że jest nieuprawniony? może celowo tak to zaprojektowano, skąd wiesz, że nie? da się to udowodnić?

 

[Wu70]

Bardzo ciekawy news od OpenAI, umowa z Cerebras się materializuje w topowych modelach:

 

https://openai.com/index/previewing-ultrafast/

 

14x szybciej na układach od Cerebras, 750 tokenów na sekundę!

 

Dla przypomnienia Cerebras to dedykowane układy do AI single wafer-scale chip z ogromną pamięcią SRAM, innymi słowy czysta, bydlęca moc!

Żadnej nvidii, żadnych pamięci HBM, jedyny wpływ na rynek to trochę wafli u TSMC.

FYI @Kadajo 

 

Już teraz Gemini flash (300+ tokenów) jest mega szybkie ale 750 to kosmos.

 

A skoro mowa o Gemini, kolejna niespodziewana premiera małego modelu Gemini 3.7 Flash:

 

https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-3-7-flash/

[Bono_UG]

A jaki mają uzysk w produkcji tych układów? Skoro pojedynczy układ to cały wafel, to czy drobny defekt nie psuje całości? W efekcie koszt może nie być mały, moce produkcyjne nadal zapchane.

 

Z tą pamięcią też nie jest tak super. Dla małych modeli, co się zmieszczą w tych 44GB na "czipie" będzie super. Dla większych trzeba te układy łączyć w sieć, co niweluje zalety posiadania wszystkiego w jednym układzie i zmniejszy wydajność. Tutaj Nvidia może nadal być lepszym rozwiązaniem.

 

Jak z odprowadzaniem ciepła? 25kW to nie jest mało, nie jest łatwo.

 

Nie wróżę rychłego końca problemu z kosztami kart i pamięci.

Podaż tych układów jest ograniczona, koszty zakupu i postawienia sprzętu wysokie. Dla wielu rozwiązań serwer z kartami graficznymi nadal będzie dużo prostszym i tańszym rozwiązaniem.

[Zas]

Pewnie są jakieś zdublowane albo nadmiarowe struktury, w normalnych chipach też chyba tak to wygląda? 

[Bono_UG]

W normalnych np. ucinają kilka rdzeni i puszczają jako niższy model. Według dokumentu od Cerebras część układów ma nadmiarowe rdzenie i nie wszystkie są włączone.

Sami w sumie poszli w podobny model, tylko zamiast kilkudziesięciu układów na wafel, to mają prawie milion drobnych rdzeni i programowalną siatkę połączeń między nimi.

https://cdn.sanity.io/files/e4qjo92p/production/d90ea54a0a68ba52426113d132b729f91ec17156.pdf

 

Czyli moje obawy o uzysk są mniej zasadne.

[Wu70]

To akurat nie jest wielka zagadka, w tym i innych chipach po prostu finalny produkt zazwyczaj nie zawiera 100% aktywnych elementów:

 

 

Godzinę temu, Bono_UG napisał(a):

A jaki mają uzysk w produkcji tych układów? Skoro pojedynczy układ to cały wafel, to czy drobny defekt nie psuje całości? W efekcie koszt może nie być mały, moce produkcyjne nadal zapchane.

 

TLDR; mają lepsze liczby niż Nvidia GPU 

• Tutaj cały projekt od początku jest stworzony z myślą o maksymalnej odporności na defekty.
  Poszli drogą bardzo małych corów, tutaj jeden defekt wyłącza ~0.05mm2 układu, dla H100 jeden defekt to wyłączone ~6mm2.
• Do tego zaprojektowali routing między corami z myślą o omijaniu corów z defektami.
• Trochę zapasowych corów

Więcej do poczytania właśnie na ten temat:
https://www.cerebras.ai/blog/100x-defect-tolerance-how-cerebras-solved-the-yield-problem

 

Godzinę temu, Bono_UG napisał(a):

Z tą pamięcią też nie jest tak super. Dla małych modeli, co się zmieszczą w tych 44GB na "czipie" będzie super. Dla większych trzeba te układy łączyć w sieć, co niweluje zalety posiadania wszystkiego w jednym układzie i zmniejszy wydajność. Tutaj Nvidia może nadal być lepszym rozwiązaniem.

Generalnie to nie jest sprzęt dla małych modeli, małe modele to bardziej proof of concept gdzie kręciły jeszcze lepsze liczby, 1000+ tokenów/s GPT 5.3 Spark był dostępny testowo od dłuższego czasu na Cerebras.

Ich produkt to właśnie takie lodówki które łączą kilkadziesiąt takich wafli-układów.

 

A łączenie układów nie niweluje zalet kiedy zdasz sobie sprawę że alternatywą jest łączenie jeszcze większej ilości układów GPU.

Innymi słowy: popatrz na te wafle i zobacz ile zewnętrznych połączeń zostało zaoszczędzone.

 

 

 

 

Dlatego tak istotna jest premiera TOPOWEGO dużego modelu gdzie masz boost 11-14x i widzisz że nic nie zostało zniwelowane, to po prostu działa i przeszli z teorii do praktyki.

 

PS. Łączenie układów to też szeroki temat gdzie są ogromne inwestycje.

Jednym ze znanych przykładów jest Credo Technology które obiecuje fantastyczne łączenie układów i oczywiście jest spompowane przez to na giełdzie

Edytowane 9 godzin temu przez Wu70