Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

希望能加入Anime4k CNN VL和UL支持 #403

Closed
frdoma opened this issue Jul 12, 2022 · 17 comments
Closed

希望能加入Anime4k CNN VL和UL支持 #403

frdoma opened this issue Jul 12, 2022 · 17 comments
Labels
enhancement New feature or request

Comments

@frdoma
Copy link

frdoma commented Jul 12, 2022

Expected behavior 预期的功能

最近发现Lossless Scaling新版支持了Anime4k算法并且有VL和UL可选,于是对比了一下发现效果比L好很多,效果差距如下图,请新链接打开图片后再点击一次图片放大查看。
要说不足只有UL能感觉出来移动鼠标稍微有迟钝,而VL就几乎没有感觉。但因为大部分视觉小说都是静态CG,所以帧数和延迟相比画面的提升都显得没有那么重要,希望Magpie也能加入Anime4k CNN VL和UL版本的支持。

L 2x vs UL 2x

Alternative behavior (optional) 近似的功能(可选)

No response

@frdoma frdoma added the enhancement New feature or request label Jul 12, 2022
@Blinue
Copy link
Owner

Blinue commented Jul 12, 2022

#323

移植这些巨型着色器技术上没有困难,但它们的实用度不高,而且移植起来很费时间。我没有移植它们的计划,但很欢迎贡献。

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

#323

移植这些巨型着色器技术上没有困难,但它们的实用度不高,而且移植起来很费时间。我没有移植它们的计划,但很欢迎贡献。

L在1080p屏下表现还相对好一些,但是在2k屏下很糟糕了。UL在2k屏下表现比L好太多了,对于高分屏的用户来说这是非常必要的。

Magpie比Lossless Scaling好的地方就在于可高度定制缩放配置,但是因为没有UL导致不管怎么配置画面的上限都不够高,这很可惜,恳请大佬考虑一下。

CNN的Anime4k已经是比较成熟了,而GAN还处在试验阶段,所以如果因为太花时间个人建议先移植CNN,GAN等成熟了再弄。

如果因为性能问题也可以先移植VL,这个配置中上的显卡一般都能跑得动,而且现在显卡也便宜了。现在一张GTX1070只要不足1000就能收到,就算是动态CG的文字类游戏跑UL都问题不大。

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

L vs UL 2x 2
请新链接打开图片后再点击一次图片放大查看。

在2k屏下随便测试哪张CG,UL都比L好非常多,甚至可以说是质变的提升,尤其是头发的边缘,提升非常明显(1080p下提升也不小,2k下的提升更大)。

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

测试了一下,用UL放大,起初帧数能维持在30帧左右。后来发现LS默认的设置GPU不能满载,更改设置可以满载之后,跑UL动态的VN能有45帧+,静态的有50帧+。根据现有信息推断,想要60帧估计得3060及以上的显卡,想要尽可能高画质的用户可以选择UL。
用VL放大,帧数能有60帧左右,配置一般的可以选择VL,在高画质和帧数之间能有比较好的平衡。

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

测试了一下,用UL放大,起初帧数能维持在30帧左右。后来发现LS默认的设置GPU不能满载,更改设置可以满载之后,跑UL动态的VN能有45帧+,静态的有50帧+。根据现有信息推断,想要60帧估计得3060及以上的显卡,想要尽可能高画质的用户可以选择UL。
用VL放大,帧数能有60帧左右,配置一般的可以选择VL,在高画质和帧数之间能有比较好的平衡。

我现在用的还是10系老卡,LS的作者说他用笔记本的3060通过Anime4k UL放大一个920x640分辨率的窗口游戏能有60帧,GPU占用30%,大够更好的配置是可以帧数更高一些的。

@Blinue
Copy link
Owner

Blinue commented Jul 12, 2022

我在 mpv 里测试了一下,VL、UL 和 L 的差距很小,这可能是因为我是 1080P 的屏幕,希望你放出 mpv 中的对比。LS 中 L 的实现大概有问题,你可以和 magpie 的实现对比一下。

一个用于对比图像的网站 https://imgsli.com/

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

我在 mpv 里测试了一下,VL、UL 和 L 的差距很小,这可能是因为我是 1080P 的屏幕,希望你放出 mpv 中的对比。LS 中 L 的实现大概有问题,你可以和 magpie 的实现对比一下。

一个用于对比图像的网站 https://imgsli.com/

我在 mpv 里测试了一下,VL、UL 和 L 的差距很小,这可能是因为我是 1080P 的屏幕,希望你放出 mpv 中的对比。LS 中 L 的实现大概有问题,你可以和 magpie 的实现对比一下。

一个用于对比图像的网站 https://imgsli.com/

不好意思因为我不用mpv,还是用之前的图来说明吧,我的测试里LS和Magpie里的Anime4k L的效果差距不大,上面的图里的L就是Magpie的。
在1080p下的区别的确没有1440p下明显,因为下采样可以一定程度上提升画质,但是在发丝边缘处还是能明显看出区别的。
例1在1080p下的图对比
https://imgsli.com/MTE2NDE1/0/3
例1在1440p下的对比
https://imgsli.com/MTE2NDE4/0/3

例2在1080p下的图对比
https://imgsli.com/MTE2NDA1
例2在1440p下的对比
https://imgsli.com/MTE2NDEw

因为1080p屏幕看imgsli这个网页1440p的图会自动缩成1080p导致差异变小,所以我把1440p的原图上传到这里,请下载查看对比。

Magpie Anime4k L vs Lossless Scaling Anime4k L&VL&UL 1440p 例1.zip
Magpie Anime4k L vs Lossless Scaling Anime4k L&VL&UL 1440p 例2.zip

@frdoma
Copy link
Author

frdoma commented Jul 12, 2022

我在 mpv 里测试了一下,VL、UL 和 L 的差距很小,这可能是因为我是 1080P 的屏幕,希望你放出 mpv 中的对比。LS 中 L 的实现大概有问题,你可以和 magpie 的实现对比一下。

一个用于对比图像的网站 https://imgsli.com/

1080p屏N卡可以在显卡驱动面板里设置DSR因数选择1.78,然后在显卡控制面板更改分辨率为2560x1440即可。A卡应该也有类似功能。设置好2k之后测试好截图,之后改成1080p查看截图对比即可,截图的效果应该是和原生2k屏是一样的。

@frdoma
Copy link
Author

frdoma commented Jul 13, 2022

Anime4k作者在v4版里发的对比图,貌似36ms的就是UL,5ms的是L。
https://raw.githubusercontent.com/bloc97/Anime4K/master/results/Comparisons/Cropped_Screenshots/Maxed.png
相比于缩放配置里加锐化(只能略微开一点,开高了细节会明显变差,会出现锯齿感)或者Restore(会出现涂抹感),UL和VL才是实打实的大幅提升缩放后的画质(尤其是在高分屏下)。

@frdoma
Copy link
Author

frdoma commented Jul 13, 2022

我在 mpv 里测试了一下,VL、UL 和 L 的差距很小,这可能是因为我是 1080P 的屏幕,希望你放出 mpv 中的对比。LS 中 L 的实现大概有问题,你可以和 magpie 的实现对比一下。

一个用于对比图像的网站 https://imgsli.com/

经过仔细对比得出结论:原画面质量越差,输出分辨率越高,L和UL的差距就越大。

如果在1080p屏下且原图画质足够好(细节足够丰富,线条清晰且没有锯齿)则L和UL的差距就相对明显,而在原图比较差(细节比较粗糙,线条有明显锯齿等瑕疵)的时候L和UL的差距就会被拉开。如果同时输出分辨率是2k,那L和UL的差距就会变得非常明显。

上面举的例子是樱之诗里的CG,这个游戏原画面的头发边缘锯齿就有些明显,再加上2k屏的因素,L和UL的差距就非常大。

@Blinue
Copy link
Owner

Blinue commented Jul 14, 2022

我正忙于开发新用户界面,等这些工作告一段落,会尝试移植更多 Anime4K 着色器。

@frdoma
Copy link
Author

frdoma commented Jul 15, 2022

我正忙于开发新用户界面,等这些工作告一段落,会尝试移植更多 Anime4K 着色器。

这真是一个好消息,赞美大佬(^_^)

说起来有部分视觉小说的边缘有锯齿的,我尝试过用不同的方法解决。
起初尝试用的SMAA,结果抗锯齿效果一般,且容易对线条造成破坏(尤其是静态CG更明显)。
后来发现用双线性或双三次插值把画面过滤一遍会很大程度缓解锯齿,只是画面会稍微糊一点(双三次比双线性抗锯齿更好但更糊一点),这种方法比SMAA效果要要好。
有了更高级别的UL之后,在放大画面的时候线条的锯齿依靠放大算法本身就能很大程度缓解了,而且细节也能更清晰一些。如果再配合线性插值过滤一遍画面,那抗锯齿效果就更好了。

@Mr-Z-2697
Copy link

更像是有没有denoise的差别
移植太费时间的话,添加glsl支持会不会更“快捷”一些?

@frdoma
Copy link
Author

frdoma commented Jul 19, 2022

更像是有没有denoise的差别
移植太费时间的话,添加glsl支持会不会更“快捷”一些?

首先降噪会抹掉细节,而UL相比L细节不会少而且更好;其次降噪也达不到UL的效果,降噪之后线条不可能变得更锐利,也不可能把有锯齿的线条给修复好吧。

UL相比L唯一的问题就是配置需求要高一些,而低一档的VL我测试性能消耗性能比NNEDI3_nns64_win8x6要低,也比较接近UL的效果,这个适用性要更强一些,配置一般的也能跑的动。

@kato-megumi
Copy link
Contributor

I ported UL and VL variant of Anime4k in #406.

@Blinue
Copy link
Owner

Blinue commented Jul 24, 2022

#406 已合并,我将关闭这个 issue

@ayi9752
Copy link

ayi9752 commented May 13, 2023

I ported UL and VL variant of Anime4k in #406.

Bro could you please do a port for [Anime4K_Restore_CNN_UL.glsl]. please bro i can pay you like 20 dollar for this.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

5 participants