Skocz do zawartości

AI PC/ Co-pilot PC. Zintegrowane NPU w procesorach konsumenckich.


Rekomendowane odpowiedzi

Opublikowano (edytowane)

Wydaje mi się rozumiem, jaka idea za tym stoi. Ale jak to jest w praktyce?
W praktyce ani windows ani linuks, chyba nie specjalnie mają co oddelegowywać na to NPU?
Pod windowsem maks co znalazłem, to rozmywanie tła w kamerce.

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.


npu.jpg.dde1049387f12a331862baef1f75bdfb.jpg

Edytowane przez Pawcio
  • Like 1
Opublikowano

W praktyce te procesory z funkcją NPU pozawalają Ci odpalić model językowy AI, który działa jak ChatGPT i ma zazwyczaj podobne możliwości.
Są też modele, które pozwalają na generację obrazu. Zgadzam się, że na ten moment to są dość bezużyteczne błyskotki dla przeciętnego Kowalskiego.

 

W każdym razie to nie są puki co rzeczy, które się odpala za pomocą jednego kliknięcia ikonki na pulpicie. Na ten moment jest to raczej "druciarstwo", które oczywiście działa, ale wymaga niemałego nakładu nauki i wysiłku, zanim wyda owoc.

 

Są jednak proste rozwiązania - na co nowszych telefonach z androidem możesz przykładowo odpalić taki czat w aplikacji llamao - wszystko działa lokalnie bez dostępu do Internetu.

 

W dniu 6.06.2025 o 23:51, Pawcio napisał(a):

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.

To ma największy sens jak jesteś developerem AI, lub masz bardzo konkretny przypadek użycia (powiedzmy że przykładowo analiza zdjęć rentgenowskich w celu wykrycia raka).
Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to. Jak dla mnie to "NPU" to bardziej taki chwyt marketingowy, który w zasadzie oznacza "Patrzcie, nasze (zintegrowane) GPU wspiera teraz nowe sterowniki do obsługi AI".

 

Zazwyczaj AI odpala się na kartach graficznych z górnej półki i to kosztuje bajońskie sumy. Jak masz dużo ramu, to możesz też spróbować odpalić AI na zwykłym CPU, ale wtedy jest to bardzo wolne. Procesory z funkcjonalnością NPU mają poniekąd być takim pośrednim przystankiem pomiędzy wydajnością dedykowanego GPU, a powolniactwem zwykłego CPU. Jak nie stać się na dedykowane GPU z dziesiątkami GB szybkiego VRAM-u, to właśnie taki procesor NPU w połączeniu z dużą ilością szybkiej pamięci RAM jest wtedy całkiem niezłą alternatywą, żeby zacząć poważniejszą przygodę z AI.

Opublikowano
6 minut temu, Mistral85 napisał(a):

Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to

to oddzielny kawalek krzemu i go tracisz, przy aktualnych wydajnosciach npu jest kompletnie bezuzyteczne dla wiekszosci uzytkownik ale to sie moze zmienic w przyszlosci

 

npu powinno sie uzywac do bardzo "tanich" obliczeniowo rzeczy jak jakis blur na video rozmowie,

odpalanie czatu na tym jest bez sensu bo ten czat bedzie strasznie uposledzony

  • Upvote 1
Opublikowano

Akceleratory sieci neuronowych, to zdaje się Intel już od ładnych kilku lat robi. Teraz po prostu zostały zintegrowane z procesorami.

Jednym słowem podobna droga jak było z kartami graficznymi, kiedyś były oddzielne akceleratory 3D, potem zostały zintegrowane w kartach, a koniec końców weszły do niektórych serii procesorów.

Jeżeli takie jednostki mają lepszy stosunek obliczeń do watów niż karty graficzne, to nawet obecna niska wydajność znajdzie zastosowanie.

 

Równie dobrze można dywagować po co te wszystkie jednostki wektorowe, skoro prawie nikt z nich nie korzysta? Po co rozbudowane iGPU jak ktoś w życiu nie odpali 3D?

 

A zastosowanie, to przecież SI to nie wyłącznie kobyły LLM, to też dużo prostsze sieci neuronowe w jakichś filtrach graficznych. Być może też zostanie wykorzystane w grach, do sterowania zachowaniem NPC.

Nie siedzę w temacie ale python ma masę bibliotek do tworzenia SI, jeżeli potrafi wykorzystać te jednostki, to powinno usprawnić pracę domowych hobbystów, naukowców.

Opublikowano

Również uważam, że to nie ma sensu. Przecież modele SI można uruchamiać na każdym kompie, a ograniczeniem jest pamięć VRAM oraz zwykły RAM, a także GPU. Procesor ma najmniejsze znaczenie. Może te rdzenie są zoptymalizowane stricte pod modele SI, ale wątpię, aby dawały jakąś realną przewagę. Chyba, że ktoś dołoży do laptopa 64GB RAM, kartę graficzną z 24GB VRAM i wtedy takie procesorek osiągnie zauważalnie lepsze wyniki od wariantu bez NPU.

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
  • Popularne tematy

  • Najnowsze posty

    • Mnie to mocno zaskoczyło, że w ogóle ludzie są przyjaźni. Aż mi się głupio grało tuż po premierze. Wszyscy tylko sławetne "dont siut", no to się litowałem na początku :P. Tylko po 3 dniach zaczynało się to robić powoli nudne. Plus raz na jakiś czas zdarzył się gracz, który jednak strzelał, a człowiek przyzwyczajony, że sobie może beztrosko biegać wśród innych nie był na takie coś przygotowany :E.   W innych extraction shooterach 95% jak nie więcej ludzi jest wrogo nastawiona, więc widząc kogoś wiesz, że będzie walka. W Tarkovie może na początku wipe są sytuacje że ktoś mówi na voice, że nie chce walki, bo robi questa, ale im dalej w "sezonie" tym rzadziej się cos takiego zdarza. W Arc Raiders też tak było, w zamkniętych testach pół roku temu i przed premierą prawie każdy do siebie strzelał od razu. To ta "przyjazna" natura graczy po premierze gry była tą "nienaturalną" dla tych co przychodzili z innych extration shooterów, czy grali we wcześniejsze beta testy.   Jako, że jest to pvpve, to trzeba też brać pod uwagę otoczenie, boty/AI. To podstawowy element w tym gatunku. Walczymy z botami na głośno, musimy to robić szybko, w miarę bezpiecznym miejscu. Bo z tyłu głowy cały czas mamy to, że nasza walka z nimi mogła przywołać innych ludzi. Na otwartym terenie jest zbyt ryzykownie, lepiej boty ominąć. Zostawić ich jako czujki na innych graczy, a w tym czasie lootować sobie jakiś budynek. Jak zobaczymy albo usłyszymy, że się agrują, to wiemy że ktoś z tamtej strony nadchodzi. Wyjście z mapy powinno być sukcesem, człowiek powinien czuć satysfakcję, że przeżył raid. Od nas zależy ile jesteśmy na raidzie. Im dłużej tym więcej dobrego lootu możemy znaleźć, ale również większa szansa, że zginiemy. Tak samo podróż w miejsca z dobrym lootem, można się obłowić, ale ryzykujemy spotkanie z wieloma graczami, którzy też mają chrapkę na te miejsca.  Stosunek wyjść na poziomie 40-50% to całkiem dobry wynik w innych grach tego gatunku. W Arcu co prawda nie ma takich statsów, ale na oko mam chyba 90-95% :E.    Jedynie co bym zmienił, to wejście z darmowym sprzętem tylko po 12 minutach trwania raidu albo później, a jak wchodzisz ze swoim to zawsze na początku. Windy nie powinny się zamykać, do końca powinny być wszystkie otwarte. Oraz w solo grze zmniejszył bym trochę ilość graczy, bo jak się wszyscy zaczną napierdzielać, to będzie trochę chaotycznie.   To, że gra prędzej czy później zacznie tracić graczy jest naturalne. Mnie i tak zaskoczyła taka popularność. Nastawiałem się na 200k ludzi w okolicach premiery i koło 80-100 miesiąc po niej. Jest sporo lepiej i bardzo dobrze, bo to świetna gierka z małymi problemami (desynci, balans). Byle jej z czasem nie spierdzielili.   Na horyzoncie kolejne extraction shootery z jakimś tam potencjałem. Nowy PUBG :E, oraz Marathon od Bungie.
    • Ale klikasz obok i masz 253W  Wasze zarzuty byłyby słuszne gdyby właśnie nie to "obok"  
    • https://www.neonet.pl/karty-graficzne/gigabyte-geforce-rtx-5090-windforce-oc-32gb-gddr7-dlss4-gv-n5090wf3oc-32gd.html   9699
    • Tak jest w każdym teście CPU, nawet tych, które przysyła Intel, a nie AMD, także tutaj kulą w płot W każdym razie, co proponujesz? Zignorować w ogóle istnienie TDP i do głównych wykresów podawać typowe ustawienia automatyczne (czyli w przypadku Intela rzeczywiście będzie to 181/250 W), a obniżone limity do zestawienia zbiorczego? Ja jestem otwarty na każdą propozycję, ale musisz mieć świadomość, że to nie jest do końca tak, że to są zawsze limity, jakie masz, kiedy nie wchodzisz do BIOS-u. Bo są płyty np. B760, które fabrycznie ustawiają PL1 125 W i tylko PL2 181-253 W. A PL2 niczego do wydajności nie wnosi, po minucie spadnie w grze pobór do 125 W i już tak zostanie do końca rozgrywki.
    • I teraz pomyśl, że ten GTX 970 za 1500 zł był praktycznie na równi z GTX 780 Ti 3GB, który dwa lata wcześniej debiutował w kwocie 2849 zł.  Jednocześnie 970-tka była 50% szybsza od 770-tki.   Teraz o takich przyrostach można tylko pomarzyć. 
  • Aktywni użytkownicy

×
×
  • Dodaj nową pozycję...