AI PC/ Co-pilot PC. Zintegrowane NPU w procesorach konsumenckich.

[Pawcio 96]

Wydaje mi się rozumiem, jaka idea za tym stoi. Ale jak to jest w praktyce?
W praktyce ani windows ani linuks, chyba nie specjalnie mają co oddelegowywać na to NPU?
Pod windowsem maks co znalazłem, to rozmywanie tła w kamerce.

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.

Edytowane 6 Czerwca 2025 przez Pawcio

[Mistral85 11]

W praktyce te procesory z funkcją NPU pozawalają Ci odpalić model językowy AI, który działa jak ChatGPT i ma zazwyczaj podobne możliwości.
Są też modele, które pozwalają na generację obrazu. Zgadzam się, że na ten moment to są dość bezużyteczne błyskotki dla przeciętnego Kowalskiego.

 

W każdym razie to nie są puki co rzeczy, które się odpala za pomocą jednego kliknięcia ikonki na pulpicie. Na ten moment jest to raczej "druciarstwo", które oczywiście działa, ale wymaga niemałego nakładu nauki i wysiłku, zanim wyda owoc.

 

Są jednak proste rozwiązania - na co nowszych telefonach z androidem możesz przykładowo odpalić taki czat w aplikacji llamao - wszystko działa lokalnie bez dostępu do Internetu.

 

W dniu 6.06.2025 o 23:51, Pawcio napisał(a):

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.

To ma największy sens jak jesteś developerem AI, lub masz bardzo konkretny przypadek użycia (powiedzmy że przykładowo analiza zdjęć rentgenowskich w celu wykrycia raka).
Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to. Jak dla mnie to "NPU" to bardziej taki chwyt marketingowy, który w zasadzie oznacza "Patrzcie, nasze (zintegrowane) GPU wspiera teraz nowe sterowniki do obsługi AI".

 

Zazwyczaj AI odpala się na kartach graficznych z górnej półki i to kosztuje bajońskie sumy. Jak masz dużo ramu, to możesz też spróbować odpalić AI na zwykłym CPU, ale wtedy jest to bardzo wolne. Procesory z funkcjonalnością NPU mają poniekąd być takim pośrednim przystankiem pomiędzy wydajnością dedykowanego GPU, a powolniactwem zwykłego CPU. Jak nie stać się na dedykowane GPU z dziesiątkami GB szybkiego VRAM-u, to właśnie taki procesor NPU w połączeniu z dużą ilością szybkiej pamięci RAM jest wtedy całkiem niezłą alternatywą, żeby zacząć poważniejszą przygodę z AI.

[kubikolos 1 404]

6 minut temu, Mistral85 napisał(a):

Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to

to oddzielny kawalek krzemu i go tracisz, przy aktualnych wydajnosciach npu jest kompletnie bezuzyteczne dla wiekszosci uzytkownik ale to sie moze zmienic w przyszlosci

 

npu powinno sie uzywac do bardzo "tanich" obliczeniowo rzeczy jak jakis blur na video rozmowie,

odpalanie czatu na tym jest bez sensu bo ten czat bedzie strasznie uposledzony

[Bono_UG 325]

Akceleratory sieci neuronowych, to zdaje się Intel już od ładnych kilku lat robi. Teraz po prostu zostały zintegrowane z procesorami.

Jednym słowem podobna droga jak było z kartami graficznymi, kiedyś były oddzielne akceleratory 3D, potem zostały zintegrowane w kartach, a koniec końców weszły do niektórych serii procesorów.

Jeżeli takie jednostki mają lepszy stosunek obliczeń do watów niż karty graficzne, to nawet obecna niska wydajność znajdzie zastosowanie.

 

Równie dobrze można dywagować po co te wszystkie jednostki wektorowe, skoro prawie nikt z nich nie korzysta? Po co rozbudowane iGPU jak ktoś w życiu nie odpali 3D?

 

A zastosowanie, to przecież SI to nie wyłącznie kobyły LLM, to też dużo prostsze sieci neuronowe w jakichś filtrach graficznych. Być może też zostanie wykorzystane w grach, do sterowania zachowaniem NPC.

Nie siedzę w temacie ale python ma masę bibliotek do tworzenia SI, jeżeli potrafi wykorzystać te jednostki, to powinno usprawnić pracę domowych hobbystów, naukowców.

[Polaris 3]

Również uważam, że to nie ma sensu. Przecież modele SI można uruchamiać na każdym kompie, a ograniczeniem jest pamięć VRAM oraz zwykły RAM, a także GPU. Procesor ma najmniejsze znaczenie. Może te rdzenie są zoptymalizowane stricte pod modele SI, ale wątpię, aby dawały jakąś realną przewagę. Chyba, że ktoś dołoży do laptopa 64GB RAM, kartę graficzną z 24GB VRAM i wtedy takie procesorek osiągnie zauważalnie lepsze wyniki od wariantu bez NPU.