Techniki rekonstrukcji obrazu w grach - NVIDIA DLSS, AMD FSR, Intel XeSS, Sony PSSR oraz inne

[sideband 3 243]

A ile razy trzeba pisać, że wskaźnik obciążenia GPU jest mało miarodajny 

[Ryszawy 841]

Jeszcze jeden przykład. NR ogarnia co i z jakiego materiału jest zrobione (przynajmniej w CP2077). W przykładzie z półkami, poprawiło wygląd metalu na tych wazonikach i dodało odbicia w metalowych półkach. W tym z wąskim przejściem, poprawiło cieniowanie całej sceny i wygląd metalowych rzeczy. Otwórzcie obrazki w nowych zakładkach i porównajcie.

 

DLSS 5:

PT:


DLSS 5:

PT:

Edytowane 3 Września przez Ryszawy

[SebastianFM 533]

@Ryszawy, a skąd ty wiesz, że dobrze ogarnia? Skąd wiesz, że górna powierzchnia półki jest z takiego samego materiału i powinna tak odbijać światło? Za pomocą PT można uzyskać poprawne odbicie na tej półce, nie potrzeba do tego wcale NR! To samo jest z tymi dzbanami. Wystarczy zmodyfikować materiał czyli kolor, chropowatość i metaliczność, żeby dostosować wygląd. AI nie musi poprawiać każdej wyrenderowanej klatki. Poza tym NR działa w przestrzeni ekranu i nie ma informacji, co właściwie powinno się odbijać w tych dzbanach, w przeciwieństwie do PT.

Edytowane 3 Września przez SebastianFM

[some1 732]

15 minut temu, Ryszawy napisał(a):

Jeszcze jeden przykład. NR ogarnia co i z jakiego materiału jest zrobione (przynajmniej w CP2077). W przykładzie z półkami, poprawiło wygląd metalu na tych wazonikach i dodało odbicia w metalowych półkach.

NR nie ogarnia materiałów i nie dodaje odbić od sąsiednich obiektów. Prędzej po włączeniu PT materiał półki się zachowuje inaczej i odbicia "wsiąkły".

 

 

[Ryszawy 841]

Nie wiem jak działa ta wersja NR, ale razcej ma dostęp do większej ilości informacji niż tylko obrazek 2D, przynajmniej w CP2077. Do Bufora głębi na pewno. Potrafi rozpoznać twarze, włosy i ludzką skórę, to chyba metalową półeczkę też.

Edytowane 3 Września przez Ryszawy

[Kadajo 10 373]

Coś tam kojarzę ze NR miał oganiać materiały ale chyba nie sam z siebie. Developer musi mu podac taka informacje.

No chyba ze ona już jest w silniku i NR potrafi z tego skorzystać.

@Ryszawy a te odbicia na półce tych książek i dzbaneczka to były temporalnie stabilne jak ruszałeś kamerą ?

[Ryszawy 841]

Twarze rozpoznaje, więc rozumiem, że jest w jakiś sposób "szkolone" co jest czym. Nie dodaje odbić do wszystkiego.

3 minuty temu, Kadajo napisał(a):

Coś tam kojarzę ze NR miał oganiać materiały ale chyba nie sam z siebie. Developer musi mu podac taka informacje.

No chyba ze ona już jest w silniku i NR potrafi z tego skorzystać.

@Ryszawy a te odbicia na półce tych książek i dzbaneczka to były temporalnie stabilne jak ruszałeś kamerą ?

Tak stabilne jak PT kiedyś było. Ujdzie.

Ogólnie w CP2077 nie ma jakiś strasznych błędów, NR zaczyna generować duperele jak za długo kamera jest w jednym miejscu, ale nie zawsze. Chyba zależy to od tego co "rozpoznało" na obrazku.

Edytowane 3 Września przez Ryszawy

[Kadajo 10 373]

Ale z drugiej strony NR usunął okluzje z rogu ściany prawie do zera.

Ciekawe bo to nie pierwsza sytuacja gdzie "wypłaszcza" cienie.

[Ryszawy 841]

2 minuty temu, Kadajo napisał(a):

Ale z drugiej strony NR usunął okluzje z rogu ściany prawie do zera.

Ciekawe bo to nie pierwsza sytuacja gdzie "wypłaszcza" cienie.

Ale w scenie z alejki dodał sporo poprawnych cieni, bo przyjął, że głównym źródłem światła jest wyjście z alejki.

Edytowane 3 Września przez Ryszawy

[Kadajo 10 373]

Ten drugi przykład tez fajny.

Wczoraj bardzo podobna sytuacje miałem w MGS4 gdzie w ciemnej alejce włączenie NR dodało odbicie światła na ścianach i ziemi.

NR tak jakby rozpoznaje i decyduje gdzie powinno być jaśniej a gdzie ciemniej jeśli chodzi o jakieś lokalne odbicia świateł.

Tak to przynajmniej wygląda.

 

Mam tylko zrzuty niskiej jakości z telefonu tego miejsca.

 

NR ON

 

 

NR OFF

 

To wygląda jakby NR lokalnie tworzył cieniowania pikseli z których tworzy albo nowe cienie albo rozjaśnienia.

8 minut temu, Ryszawy napisał(a):

Ale w scenie z alejki dodał sporo poprawnych cieni, bo przyjął, że głównym źródłem światła jest wyjście z alejki.

Tak, znika ta "plastikowość" o której pisałeś wcześniej.

Jest więcej głębi bo jest lepsza gra świateł i cieni.

[Ryszawy 841]

Ciekawe, czy goście od modów będą mieli dostęp do tego co deweloperzy od gier, jeżeli chodzi o DLSS 5. Tak, żeby można to było stuningować pod konkretny tytuł. Bo starsze gry na pewno nie dostaną oficjalnego wsparcia.

[some1 732]

26 minut temu, Ryszawy napisał(a):

Nie wiem jak działa ta wersja NR, ale razcej ma dostęp do większej ilości informacji niż tylko obrazek 2D, przynajmniej w CP2077. Do Bufora głębi na pewno. Potrafi rozpoznać twarze, włosy i ludzką skórę, to chyba metalową półeczkę też.

Jedyne co model dostaje to obraz 2D i wektory ruchu. Dlatego tak łatwo to dokleić do każdej gry, nawet staroci.

Rozpoznawanie obiektów w scenie jest w całości po stronie NR. 

 

Natomiast zerknąłem na swoje screeny z poprzednich stron i faktycznie NR potrafi dodać subtelne odbicia światła dla przedmiotów stojących na stole. 

 

 

Edytowane 3 Września przez some1

[Ryszawy 841]

Jak pisałem, nie mam pojęcia jak działa ta wersja NR. Kiedy to pokazali po raz pierwszy, wszyscy spodziewali się jakiegoś modelu wielkości 4GB, pakowanego do pamięci. Okazało się, że dll ma jakieś 160MB, więc jest śmiesznie mały. Ale jest to nieoficjalny plik z jakiejś gry sportowej, chyba NBA. Być może jest specjalnie przeszkolony tylko dla tej gry i zupełnie przypadkowo radzi sobie nieźle we wszystkich innych. Nvidia coś wspominała, że DLSS 5 powinien być "dopasowany" do każdego tytułu osobno. Nie wiem.

 

No ale, oprócz wektorów ruchu, do bufora głębi i map normalnych to raczej też ma dostęp, bo w nowszych tytułach to po prostu jest banalne do przechwycenia, pewnie jeszcze do kilku innych warstw shaderów. Bo bez tego, NR raczej nie byłby skuteczny. Musiałby generować takie informacje sam, co oczywiście jest dzisiaj możliwe, ale pewnie nieopłacalne wydajnościowo. Ale pracuje na pełnej, wyjściowej rozdzielczości, więc...
Tam jest też WiP Upscaling, który chyba przeskalowuje to co NR generuje, ale też nie wiem.

 

Nie wiem w jaki sposób przechwytuje oświetlenie sceny, ale przechwytuje to poprawnie i poprawnie koryguje.

Nie wiem w jakie sposób rozpoznaje materiały, ale rozpoznaje je, bo nie dodaje odbić do tkanin i ścian, ale dodaje poprawne cieniowanie na przykład do skórzanych kurtek, no i odbicia do tych metalowych półeczek ;), ale ma tendencję do zmiany betonu, takiego na chodniku czy podłodze w jego zacieraną wersję, bardziej lustrzaną.

Rozpoznaje twarze, oczy, ręce, nieosłoniętą ludzką skórę i odpowiednio koryguje cieniowanie, do twarzy dodaje też teksturę ludzkiej skóry, ze wszystkimi jej niedoskonałościami, co widać na zbliżeniach. Nawet okulary, czy przejrzyste osłony nie stanowią problemu. Oczy koryguje osobno, ale nie zawsze, bo w CP2077 często są trochę niestandardowe. Jak to robi, też nie wiem.

Edytowane 3 Września przez Ryszawy

[Kadajo 10 373]

Nie nie, jest to oficjalny plik NR.

Nie będzie tez żadnych wersji w zależności od gier.

Plik jest jeden, uniwersalny.

Zobacz ile czasu trwało tworzenie tego jednego

[Ryszawy 841]

Kadajo, jak będzie jeden to spoko, może ktoś to przeportuje dla biedaków nie posiadających RTX 5XXX, tak jak się stało z tą wersją.

[leven 998]

Da się w ogóle dodać NR do gry Borderlands 3 ? 

Przydałby się dokładny poradnik z plikami, jak to się robi.

[Kadajo 10 373]

@leven wszytko już jest w sieci. Tylko poszukaj.

[SebastianFM 533]

@Ryszawy, nie masz racji pisząc kolejny raz, że NR koryguje w poprawny sposób!

 

Twój przykład z Cyberpunk 2077 z tą półką, która według ciebie powinna odbijać światło, jej górna powierzchnia. To NR błędnie zinterpretował, że cała półka jest z tego samego materiału natomiast ona ma tylko metalową ramkę. Potwierdzają to bufory, do których zostały wyrenderowane parametry materiału.

 

PT.

 

Metaliczność.

 

Chropowatość.

[Kadajo 10 373]

30 minut temu, Ryszawy napisał(a):

Kadajo, jak będzie jeden to spoko, może ktoś to przeportuje dla biedaków nie posiadających RTX 5XXX, tak jak się stało z tą wersją.

Moim zdaniem z czasem NR będzie tylko "rósł" bo będą coraz lepsze karty aby wykorzystać większe wytrenowane modele.

Natomiast byc moze wszytko bedzie komppatybilne w dol, wiec np. przy RTX 8090 bedzie mogl uzyc NR pierwszej generacji ktry bedzie na nim dzialal piorunsko szybko w porowaniu do 4 generji ale bedzie to kosztem jakosci. Jak zawsze w takich techologiach zreszta bywa

22 minuty temu, SebastianFM napisał(a):

@Ryszawy, nie masz racji pisząc kolejny raz, że NR koryguje w poprawny sposób!

 

Twój przykład z Cyberpunk 2077 z tą półką, która według ciebie powinna odbijać światło, jej górna powierzchnia. To NR błędnie zinterpretował, że cała półka jest z tego samego materiału natomiast ona ma tylko metalową ramkę. Potwierdzają to bufory, do których zostały wyrenderowane parametry materiału.

O, świetna analiza. O to chodziło.

Czyli NR "zgaduje". No i jak widać bardzo łatwo o pomyłkę.

 

Żebyście wczoraj widzieli w MGS4 jak grałem co się działo z niektórymi ścianami i dywanem

To dosłownie wyglądało jakby AI zaczynało halucynować jakiś mindfuck

 

 

 

 

Macie stronkę gdzie możecie wrzucać porównania NR

 

 

https://dlss5studio.com/en

 

 

 

[Wu70 1 056]

Godzinę temu, Ryszawy napisał(a):

wszyscy spodziewali się jakiegoś modelu wielkości 4GB, pakowanego do pamięci

Nie wszyscy tylko ludzie nie mający o niczym pojęcia  Już po pierwszej prezentacji pisałem że model będzie malutki bo tylko taki nadaje się do działania realtime.

 

Godzinę temu, Ryszawy napisał(a):

No ale, oprócz wektorów ruchu, do bufora głębi i map normalnych to raczej też ma dostęp

Poczytaj pdf od nvidii, ma dostęp do tego wszystkiego w czasie treningu modelu. W czasie działania ma już znacznie mniej informacji a potrafi zadziwić bo to po prostu model NN, prawie cała libka to po prostu model i wagi, w pewnym sensie "rozumie" scenę.

[Kadajo 10 373]

Gdyby to uruchomić na drugim GPU pewnie by śmigało bajańsko.

I założę się ze do samego modelu tej wielkości nie będzie trzeba drugiego RTX'a 5090

 

Galeria porównawcza już całkiem zacna

 

https://dlss5studio.com/en/gallery

[some1 732]

Sprawdziłem FH6, na upartego jest to nawet grywalne w 4k, oczywiście z FG minimum 2x. 

 

Na plus dużo lepiej wyglądają ręce kierowcy, ogólnie poprawione AO i cienie kontaktowe w całej scenie. 

Na minus desaturacja kolorów niezależnie którego presetu spróbuję, słoneczny dzień momentami wygląda jak pochmurny a światła stopu robią się białe. Cień rzucany przez samochód też potrafi znikać w zależności od tego w którą stronę świata się jedzie. 

 

Jakby to kosztowało 10-20% procent wydajności to pewnie bym używał

 

 

 

 

 

 

[Kadajo 10 373]

Jest jeden suwak który przywraca saturację kolorów niemalże w 100%.

[some1 732]

Możliwe, nie chciało mi się już grzebać. Na razie traktuję jako obiecującą ciekawostkę.

[areczek1987 1 135]