Skocz do zawartości

AI PC/ Co-pilot PC. Zintegrowane NPU w procesorach konsumenckich.


Rekomendowane odpowiedzi

Opublikowano (edytowane)

Wydaje mi się rozumiem, jaka idea za tym stoi. Ale jak to jest w praktyce?
W praktyce ani windows ani linuks, chyba nie specjalnie mają co oddelegowywać na to NPU?
Pod windowsem maks co znalazłem, to rozmywanie tła w kamerce.

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.


npu.jpg.dde1049387f12a331862baef1f75bdfb.jpg

Edytowane przez Pawcio
  • Like 1
Opublikowano

W praktyce te procesory z funkcją NPU pozawalają Ci odpalić model językowy AI, który działa jak ChatGPT i ma zazwyczaj podobne możliwości.
Są też modele, które pozwalają na generację obrazu. Zgadzam się, że na ten moment to są dość bezużyteczne błyskotki dla przeciętnego Kowalskiego.

 

W każdym razie to nie są puki co rzeczy, które się odpala za pomocą jednego kliknięcia ikonki na pulpicie. Na ten moment jest to raczej "druciarstwo", które oczywiście działa, ale wymaga niemałego nakładu nauki i wysiłku, zanim wyda owoc.

 

Są jednak proste rozwiązania - na co nowszych telefonach z androidem możesz przykładowo odpalić taki czat w aplikacji llamao - wszystko działa lokalnie bez dostępu do Internetu.

 

W dniu 6.06.2025 o 23:51, Pawcio napisał(a):

W praktyce wygląda to na głównie marketing i marnowanie miejsca na krzemie, które mogłoby zostać wykorzystane na więcej rdzeni cpu czy lepszy kontroler pamięci.

To ma największy sens jak jesteś developerem AI, lub masz bardzo konkretny przypadek użycia (powiedzmy że przykładowo analiza zdjęć rentgenowskich w celu wykrycia raka).
Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to. Jak dla mnie to "NPU" to bardziej taki chwyt marketingowy, który w zasadzie oznacza "Patrzcie, nasze (zintegrowane) GPU wspiera teraz nowe sterowniki do obsługi AI".

 

Zazwyczaj AI odpala się na kartach graficznych z górnej półki i to kosztuje bajońskie sumy. Jak masz dużo ramu, to możesz też spróbować odpalić AI na zwykłym CPU, ale wtedy jest to bardzo wolne. Procesory z funkcjonalnością NPU mają poniekąd być takim pośrednim przystankiem pomiędzy wydajnością dedykowanego GPU, a powolniactwem zwykłego CPU. Jak nie stać się na dedykowane GPU z dziesiątkami GB szybkiego VRAM-u, to właśnie taki procesor NPU w połączeniu z dużą ilością szybkiej pamięci RAM jest wtedy całkiem niezłą alternatywą, żeby zacząć poważniejszą przygodę z AI.

Opublikowano
6 minut temu, Mistral85 napisał(a):

Z tego co rozumiem (a nie jestem wielkim ekspertem tutaj), to te procesory NPU, to jest tylko nieco zmodyfikowana logika GPU, w związku z tym nie tracisz cennej powierzchni krzemu na to

to oddzielny kawalek krzemu i go tracisz, przy aktualnych wydajnosciach npu jest kompletnie bezuzyteczne dla wiekszosci uzytkownik ale to sie moze zmienic w przyszlosci

 

npu powinno sie uzywac do bardzo "tanich" obliczeniowo rzeczy jak jakis blur na video rozmowie,

odpalanie czatu na tym jest bez sensu bo ten czat bedzie strasznie uposledzony

  • Upvote 1
Opublikowano

Akceleratory sieci neuronowych, to zdaje się Intel już od ładnych kilku lat robi. Teraz po prostu zostały zintegrowane z procesorami.

Jednym słowem podobna droga jak było z kartami graficznymi, kiedyś były oddzielne akceleratory 3D, potem zostały zintegrowane w kartach, a koniec końców weszły do niektórych serii procesorów.

Jeżeli takie jednostki mają lepszy stosunek obliczeń do watów niż karty graficzne, to nawet obecna niska wydajność znajdzie zastosowanie.

 

Równie dobrze można dywagować po co te wszystkie jednostki wektorowe, skoro prawie nikt z nich nie korzysta? Po co rozbudowane iGPU jak ktoś w życiu nie odpali 3D?

 

A zastosowanie, to przecież SI to nie wyłącznie kobyły LLM, to też dużo prostsze sieci neuronowe w jakichś filtrach graficznych. Być może też zostanie wykorzystane w grach, do sterowania zachowaniem NPC.

Nie siedzę w temacie ale python ma masę bibliotek do tworzenia SI, jeżeli potrafi wykorzystać te jednostki, to powinno usprawnić pracę domowych hobbystów, naukowców.

Opublikowano

Również uważam, że to nie ma sensu. Przecież modele SI można uruchamiać na każdym kompie, a ograniczeniem jest pamięć VRAM oraz zwykły RAM, a także GPU. Procesor ma najmniejsze znaczenie. Może te rdzenie są zoptymalizowane stricte pod modele SI, ale wątpię, aby dawały jakąś realną przewagę. Chyba, że ktoś dołoży do laptopa 64GB RAM, kartę graficzną z 24GB VRAM i wtedy takie procesorek osiągnie zauważalnie lepsze wyniki od wariantu bez NPU.

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Ostatnio przeglądający   0 użytkowników

    • Brak zarejestrowanych użytkowników przeglądających tę stronę.
  • Popularne tematy

  • Najnowsze posty

    • Buda fajna, ale o co be z tą wersją (rozmiarem?)  grafy, bo się nie znam? 
    • No ja byłem na pogrzebie, nie raz. W mieście na największym cmentarzu mam kaplicę, gdzie zwykle są nabożeństwa, na kolejnym tak samo. Nie wiem, co się dzieje w przypadku, gdy nabożeństwo jest w rodzinnej parafii zmarłego, ale nie kojarzę praktycznie żadnego kościoła bez parkingu czy placu przed wejściem, poza takimi w ścisłym, zabytkowym centrum, ale zdaje się, że nawet na teren ciasnego starego miasta karawany wyjątkowo mogą wjeżdżać tak samo jak karetki, policja czy zaopatrzenie.   Tutaj sytuacja mimo wszystko jest IMHO specyficzna. O ile dobrze widzę, nie ma bezpośredniego przejścia z kościoła na parking, jeśli już, to przez budynek klasztoru/szkoły (?). Inna opcja to właśnie niesienie trumny wzdłuż Czerniakowskiej do skrzyżowania i potem Nowosielecką do wejścia na parking.   Tak, na wsiach jeszcze jakiś czas temu nosiło się albo i nadal przenosi trumnę z konduktem na cmentarz, jeśli jest blisko kościoła. Ale szczerze mówiąc - jakoś tego w centrum miasta nie widzę.  To nie jest boczna osiedlowa uliczka. I jednocześnie nie jest to pogrzeb z celebrą itp.  Wszystko to nawet jeśli trzeba się zgodzić, że widok trumny to nie jest też nic gorszącego. Ale IMHO wystarczy, że wyniosą ją na przystanek...    No właśnie, skoro już muszą, to albo tam powinien być dopuszczony wjazd obok przystanku (a faktycznie nie ma - wszędzie słupki) albo nie powinno tam być pogrzebów. A jeśli mimo wszystko są...  to na karawan przymknąłbym oko.    Ja wiem, że raz na milion jakieś dziecko będzie akurat biegło do przedszkola - ale to są skrajne przypadki, generalnie nic nikomu nie ma prawa się stać jeśli karawan na pięć minut wjedzie ostrożnie i bardzo powoli na chodnik. A podejrzewam jeszcze, że i pogrzeby nie odbywają się tam masowo?   OK, jasne, dura lex... no ale komentarz mam do tego chyba taki jak większość: Konfitura kiedyś w końcu wyłapie ostry wp...l i, jak tłumaczył klasyk: nie będę popierał, ale zrozumiem. A wcale nie jestem fanem kościelnych jasełek.
    • @Dikson Spotkałem się z takim czymś na początku zeszłego roku na OLX, kilka takich kont zgłosiłem i je zablokowali. Widać, że jest to walka z wiatrakami, najwidoczniej dalej udaje im się oszukiwać ludzi. 
    • Gdzie w końcu kupiłeś?  Ja akurat złotego wolę i nawet w przezroczyste etui wsadzę bo mi się bardziej podoba . 
    • Długo czytałem ten temat bez konta, ale w końcu nadszedł czas na kupno OLEDa. Do tej pory własciwie byłem nastawiony na Asusa PG27UCWM, ale ostatnio też zacząłem się jednak zastanawiać nad QD, a dokładniej Dell AW3426DW. Nastawienie na WOLEDa (czy jak to się tam teraz zwie bez white pixela) było głównie z obawy przed rysami przy czyszczeniu, ale niby w tej najnowszej generacji mocno poprawili wytrzymałość ekranu. Okno mam typowo za samym monitorem, więc z tym nie powinno być problemu, bo wprost na niego nic nie świeci + w razie czego mam rolety. Sam monitor będzie na ramieniu, więc minusy i plusy podstawy tych modeli mnie nie interesują. Mogę prosić o podpowiedzi czy warto iść w QD czy jednak poczekać np. na testy tego Asusa jak już się pojawi? Ew. może popatrzeć na jakieś inne modele QD oprócz tego Della, bo jednak do tej pory siedziałem na IPS 16:9, więc będzie to spory przeskok, ale z drugiej strony wolałbym chyba od razu przejść na 4K. Monitor będzie do grania, przeglądania internetu i okazjonalnego oglądania filmów (chociaż od tego głównie mam LG C4). Z takich dodatkowych rzeczy, to też nie mam zamiaru jakoś bardzo dostosowywać się pod monitor, jak np. ukrywanie paska windows. Mam świadomość, że szybciej się przez to może wypalić. Z góry dzięki za wszelkie podpowiedzi.
  • Aktywni użytkownicy

×
×
  • Dodaj nową pozycję...