Techniki rekonstrukcji obrazu w grach - NVIDIA DLSS, AMD FSR, Intel XeSS, Sony PSSR oraz inne

[oldfashioned 634]

"While the core algorithm aims for consistency, a 30-series card running DLSS 4.5 might look different (often with more visual artifacts or performance cost) than a 40-series card running the same version, simply due to hardware limitations. The core image quality is generally the same; differences arise from GPU generational hardware (Tensor Cores), VRAM, driver optimizations, system bottlenecks, and how newer DLSS versions handle older hardware, leading to varying performance impacts and sometimes subtle visual trade-offs like sharpness vs. ghosting"

Czyli ta sama wersja DLSS nie wyglada tak samo na dwoch roznych kartach. Nie wiem jaka to jest skala, bo mnie to nigdy nie interesowalo, ale jest to logiczne ze nowsze modele (4.5) moga powodowac problemy na starszych kartach. Tak jak wyzej opisane potencjalne artefakty - blurrowanie twarzy. 
 

[Kadajo 8 029]

MOGĄ, a nie SĄ

 

Nie spotkałem się jeszcze aby ktoś w recenzjach i analizach pokazał ze DLSS na kartach RTX 3xxx i 2xxx wygląda gorzej.

 

[oldfashioned 634]

Niektore posty MOGA cos wnosic do watku, ALE NIE WNOSZA 

DLSS 4.5 korzysta w pelni z fp8, a rtxy 20x0, 30x0 go natywnie nie obsluguja, tylko emuluja przez fp16 > stad sa dropy w szeroko rozuminanym performance (nie chodzi tylko o FPSy, ale i o dodatkowe artefakty). 

 

Edytowane 6 godzin temu przez oldfashioned

[Kadajo 8 029]

No tak, przecież napisałem ze DLSS działa wolniej na starszych kartach.

 

Ale jeszcze raz napisze nikt nie potwierdził gorszej jakości obrazu na tych kartach.

Jeśli ona faktycznie występuje jest nie do wyłapania.

 

I aby było jasne mam na myśli kogoś, kto wkłada w te analizy dużo pracy, a nie jakiś lolek z redita któremu się coś wydaje.

[userKAMIL 878]

13 godzin temu, leven napisał(a):

5 godzin w grze ?

 

 

 

10K godzin ziomek łowi wirtualne ryby. 😅

Zapisuje i jak następnym razem żona powie, ze za długo siedzę przed kompem to jej to pokarze.  

[galakty 3 944]

To już lepiej jakby chlał na tych rybach i chociaż obiad by był  

[skypan 1 853]

Gościu gra chyba z celi w te ryby  Ale widać, że wszystkich jeszcze nie złowił bo mu parę osiągnięć zostało

Edytowane 3 godziny temu przez skypan

[SebastianFM 379]

3 godziny temu, oldfashioned napisał(a):

Niektore posty MOGA cos wnosic do watku, ALE NIE WNOSZA 

DLSS 4.5 korzysta w pelni z fp8, a rtxy 20x0, 30x0 go natywnie nie obsluguja, tylko emuluja przez fp16 > stad sa dropy w szeroko rozuminanym performance (nie chodzi tylko o FPSy, ale i o dodatkowe artefakty). 

 

Korzystanie z FP16 zamiast FP8 to nie jest żadna emulacja tylko obliczenia są wykonywane w wyższej precyzji. Wydajność jest niższa na starszych generacjach, to oczywiste, ale dropy i artefakty to już tylko twój wymysł.

[oldfashioned 634]

Przeczytaj raz jeszcze co napisalem.
Potem sprawdz, czy 20x0 albo 30x0 natywnie obsluguja FP8, czy jednak musza emulowac przez co jest spadek wydajnosci.

Serio, w dobie gdzie sprawdzenie tego w necie to jest 10s? 

[leven 669]

Godzinę temu, galakty napisał(a):

To już lepiej jakby chlał na tych rybach i chociaż obiad by był  

W realu tez łowię (sprzęt Mikado) i nie jeden Karp na obiadzie był na talerzu

Godzinę temu, skypan napisał(a):

Gościu gra chyba z celi w te ryby  Ale widać, że wszystkich jeszcze nie złowił bo mu parę osiągnięć zostało

Jest nowe łowisko, ale trzeba mieć minimum 100 level, a ja mam zaledwie 96  

[tomcug 2 833]

7 minut temu, oldfashioned napisał(a):

Przeczytaj raz jeszcze co napisalem.
Potem sprawdz, czy 20x0 albo 30x0 natywnie obsluguja FP8, czy jednak musza emulowac przez co jest spadek wydajnosci.

I co z tego? W jaki sposób wykonywanie tych obliczeń na FP16 (czyli w wyższej precyzji) miałoby pogorszyć końcowy efekt? Spadek wydajności nie wynika z żadnej emulacji, tylko z tego, że precyzja FP8 hula 2x szybciej na Adzie i Blackwellu niż FP16, a na starszych GPU nie można użyć Tensorów na FP8, więc lecą FP16 i nie ma boosta do obliczeń DLSS. Kolejne bzdurki widzę się wyprodukowały, ciekawe co będzie następne

[oldfashioned 634]

@tomcug

Tylko co ma precyzja matematyczna do efektywności modelu AI w runtime? W tym przypadku puszczanie obliczeń FP8 na ścieżce FP16 to żaden plus, tylko czysty overhead. DLSS 4.5 jest zoptymalizowany pod architekturę z natywnym FP8, więc rzutowanie tych danych na starsze karty, które fizycznie ich nie obsługują, to po prostu dodatkowa, zbędna robota dla GPU.

Identyczna sytuacja jak w Data Science: upcasting modelu nie przywraca utraconych informacji, bo wagi i tak są już obcięte do niższego formatu – marnujesz tylko cykle zegara na mielenie zer. W efekcie każda dodatkowa milisekunda stracona na casting danych (FP8 > FP16) zwiększa latenc i model "przestaje sie wyrabiac" wzgledem silnika gry > stad dropy rzedu 20% performance na starszych kartach. No i właśnie z tego desyncu biorą się potencjalne artefakty, o których wspominałem, a których „wyższa precyzja” FP16 w żaden sposób nie naprawi. 

 

[MaxaM 1 799]

Jeśli faktycznie z jakiegoś powodu biorą się artefakty, to na pewno nie z powodu braku natywnej obsługi fp8, tylko innego działania algorytmu dlss jako kompensacja braku mocy.

Edytowane 2 godziny temu przez MaxaM

[JohnyWol 110]

Jak już tak omawiamy presety i który najlepszy to zauważyłem ciekawą sytuację z nową Mafią. W DLSS Swapper można podmienić wszystkie trzy biblioteki więc ustawiłem M dla DLSS SR i E dla DLSS RR. odpalam grę i w menu wyświetla się preset RR czyli działa RayReconstruction do którego w grze nie ma żadnych ustawień. A po rozpoczęciu gry wbija preset M czyli RR się dezaktywuje  Ciekawe czy jest jakaś możliwość odpalenia RR w samej grze

[oldfashioned 634]

@MaxaM
No ale brak mocy to jest wlasnie bezposredni skutek tego, ze nie obsluguja natywnie FP8. Traci sie boost ktory daje FP8 wzgledem FP16 i doklada dodatkow overheada bo przeciez karta musiala to przeliczyc. 
Nvidia sama pisala wprowadzajac FP8 ze to jest 'jedyny sposob' na podwojenie przepustowosci bez spadku jakosci wizualnej. No a teraz sama pisze ze zeby DLSS 4.5 dzialal stabilnie to trzeba miec karty z natywna FP8. 

[SebastianFM 379]

@oldfashioned

1. Podaj jakiekolwiek potwierdzenie tych artefaktów, tylko nie bajeczki AI czy twoje.

2. Gdzie NVIDIA napisała, że DLSS 4.5 nie działa stabilnie na starszych kartach?

[Kadajo 8 029]

@oldfashioned Mam nieodparte wrażenie ze twoja wiedza się opiera na bzdurach które ci AI wypluwa a ty je przyjmujesz bez żadnego zastanowienia z powodu braku elementarnej wiedzy jak coś działa.

Od kiedy to brak mocy obliczeniowej wpływa nas wynik końcowy ???

 

Jedyny sposb w jaki DLSS na starszych kartach miałyby generować gorszą jakość obrazu to korzystać całkowicie z innych technik przetwarzanie obrazu, ale wtedy chyba to już by nie był ten sam DLSS, prawda ?

[tomcug 2 833]

49 minut temu, oldfashioned napisał(a):

Tylko co ma precyzja matematyczna do efektywności modelu AI w runtime? W tym przypadku puszczanie obliczeń FP8 na ścieżce FP16 to żaden plus, tylko czysty overhead. DLSS 4.5 jest zoptymalizowany pod architekturę z natywnym FP8, więc rzutowanie tych danych na starsze karty, które fizycznie ich nie obsługują, to po prostu dodatkowa, zbędna robota dla GPU.

Chociażby to, że nie ma żadnych teoretycznych podstaw na tę gorszą jakość Transformera v2 na starszych GPU, którą próbujesz forsować. Jedyny aspekt, który można pod to podczepić, to wydajnościowy koszt, bo czasem tak jest, że mniej FPS = większa widoczność artefaktów, co dotyczy głównie FG, ale skalowania w mniejszym stopniu także. Ale jak ktoś chce na siłę używać Transformera v2 na starych GPU, to może obniżyć detale i jazda  No i notabene Transformer v2 nawet przy bardzo niskim FPS jest wysoce odporny na artefakty, na które FPS ma wpływ, chociażby tzw. "disocclusion artifacts".

49 minut temu, oldfashioned napisał(a):

W efekcie każda dodatkowa milisekunda stracona na casting danych (FP8 > FP16) zwiększa latenc i model "przestaje sie wyrabiac" wzgledem silnika gry > stad dropy rzedu 20% performance na starszych kartach.

Ja Ci napisałem, skąd się bierze wysoki koszt Transformera v2 na starych GPU, nie z tego powodu, który napisałeś.

[oldfashioned 634]

https://github.com/NVIDIA/DLSS/blob/main/doc/DLSS_Programming_Guide_Release.pdf 

@SebastianFM

1. Wyzej pisalem, ze nie wiem jaka jest skala artefaktow, bo sie tym nigdy nie interesowalem -> ale logiczne jest, ze one moga wystapic, w dokumencie w rozdziale 3.9 masz wytlumaczenie ze latency moze powodowac ghosting.
2. Cyferki z ich Guide bezposrednio pokazuja spadek wydajnosci, bardziej raw'owo niz oficjalne statementy, ale w statemencie tez napisali:
'Please note that GeForce RTX 20 and 30 Series GPUs lack native FP8 support, so Models M and L carry a heavier performance impact for these GPUs. Those users may therefore prefer to remain on Model K (DLSS 4), for an optimal balance of performance and image quality. With the NVIDIA app's DLSS Overrides, you control the Model, and the balance between image quality and performance for your PC.'

@Kadajo
Korzysta z tych samych technik na kazdej karcie przeciez, ale do tego dochodzi zmienna sterownikow i mocy tej karty. Jak sie karta dlawi to moga wystapic artefakty, simple as that. Starsze karty dlawia sie na DLSS 4.5
No i znowu, dokument Nvidii mowi, ze latency wywolane przez bottleneck obliczeniowy moze powodowac artefakty.

@tomcug
To samo co napisalem do Kadajo, przetestowales pewnie dziesiatki kart, pewnie niejedna lub dwie upaliles/przegrzales 'grajac'/'testujac' pod korek -> skoro w takim wypadku obciazenie karty moze spowodowac artefakty, to czemu obciazenie przez DLSS nie moze? 
No i skad sie bierze koszt dlss 4.5 na starych gpu? Mi tam mozesz nie wierzyc, ale w dokumencie podlinkowanym wyzej masz napisane to samo w 2.4 czy 3.1.2.

No i sam teraz napisales ze jednak moze byc wieksza widocznosc artefaktow skalowania korzystajac z 4.5 na starszych GPU XD