RIFE 实时补帧

[hooke007]

速览

RIFE是什么？
https://github.com/megvii-research/ECCV2022-RIFE

当前使用版本为 官方 4.6 + 4.25lite + 4.26 + 4.26heavy 模型。

对比

为什么用rife（下图右），因为更平滑以及。。。

没有svpflow/mvtools（下图左）那般具有天马行空的想象力

mpv中的使用

在mpv中可通过vs滤镜实现rife补帧。

非使用整合包的其他mpv用户，下载 vsNV 适配你的本地mpv可轻松完成部署。
如果想从头手动部署指定的模块，参考k7f的说明。

mpv-lazy-20220515 之后的标准包版本已集成RIFE（仅NCNN版。TensorRT版需要下载增强包 vsMega ）
mpv-lazy-20250525 之后的标准包版本已集成RIFE（仅DML版。TensorRT版需要下载增强包 vsNV ）

在懒人包预设的rife脚本中有多个选项可供快速调节。我强烈建议你使用前最好去修改适配你的机器。

性能要求预估

官方 4.6 模型：

	NCNN版	TRT版
720p24fps-x2	GTX1070ti	RTX2060
1080p24fps-x2	RTX3070	RTX2060
2160p24fps-x2	RTX4090	RTX4080

DirectML版性能略高于NCNN版但依旧远逊于TRT版。

性能需求概念实体化参考：
相比 ncnn ，2070super laptop 可以无预降分辨率（最多882p）顺利完成1080p24fps的倍帧，且跳转时间轴的延迟更低。
其它跑分数据 #255 (comment)

Note

即使你的硬件离目标差一两档，脚本中依然有质量交换速度的选项提供。

---

NCNN 版

（已淘汰，请使用DirectML版）通用方案，不挑显卡品牌。

https://github.com/hooke007/mpv_PlayKit/wiki/3_K7sfunc#rife_std

---

DirectML 版

支持DX12显卡的通用方案，不挑显卡品牌。

https://github.com/hooke007/mpv_PlayKit/wiki/3_K7sfunc#rife_dml

Tip

如果你的目标性能不足，注意进一步调低用户选项 H_Pre 的值。

---

TensorRT 版

20系及以后N卡的专属方案（最低要求RTX2060）
再往前的旧N卡没有张量核心(tersor core)，我不确定gtx1080ti的半精度推理性能是否足够

https://github.com/hooke007/mpv_PlayKit/wiki/3_K7sfunc#rife_nv

Tip

如果你的目标性能不足，注意进一步调低用户选项 H_Pre 的值。

优点是相对于 ncnn ，近似参数下具有大于150%的巨大效率提升，缺点是需要对不同的分辨率首次运行前，都要预生成一次引擎文件，此步骤视分辨率、模型、显卡性能而定，每次耗时1~10分钟不等。

[hzwer]

v4 模型还不能算实时模型吗 😭。

[oblessnoob]

我的瞎玩行为居然被开发者本人注意到了....... 怎么说呢，对大多数人的硬件来说还是太沉重了。（虽然vs不算一个高效的框架）如果模型能进一步精简，在当前的条件下，3060laptop这级别的显卡能无预降分辨率来实时播放1080p那就更好了

我之前用第一版支持tensor core的ncnn版在3060laptop上测试4.0处理1080p的帧序列，输入序列的速度差不多是29fps出头，如果把96eu也加进来的话能到31fps，正好卡在了这条线上，如果输入是24fps的动画我感觉应该就没啥问题了

[hooke007]

嘛，，，直接用nihui的ncnn那版肯定比现在更快。这里vs卡了一下，mpv的vs滤镜卡了第二下（即使vs中不做任何处理input完直接output也有明显的效率折损）。当然这不是rife的问题，不过当前pc用于实时播放也几乎只有这条途径了

[M1saka10010]

我的瞎玩行为居然被开发者本人注意到了....... 怎么说呢，对大多数人的硬件来说还是太沉重了。（虽然vs不算一个高效的框架）如果模型能进一步精简，在当前的条件下，3060laptop这级别的显卡能无预降分辨率来实时播放1080p那就更好了

3070laptop可以无预降1080（吃到80-90%

[iforgiveu]

RIFE这个补帧还是太吃性能了，用我小小的3060只能让视频变得卡顿，还是老老实实用mvt了

[hooke007]

3060跑trt不是问题

[natural-harmonia-gropius]

https://github.com/hooke007/MPV_lazy/blob/5015125748d619662f2f8ce69cfc08cda7554022/portable_config/vs/rife-2x.vpy#L43
我这边测下来 format 还原而不是 444p16 性能更好，带的动 1080p30 了
range 也可以合并到一起

format = clip.format.id
range = clip.get_frame(0).props._ColorRange
clip = clip.resize.Bicubic(format=vs.RGBS, matrix_in=1, range_in=range)
clip = clip.resize.Bicubic(format=format, matrix=1, range=1-range)

用这个帖子里米奇的脚本测下来失真也更低
注意 Y Plane 下面第二行要传参进去

expr = 'x y - '.format(neutral=1 << (input_YUV.format.bits_per_sample - 1))
Diff = core.std.Expr([input_YUV, clip_YUV], [expr])

mpv 的 vapoursynth=file:buffered-frames:concurrent-frames
buffered-frames 设为 1 即可，对于补帧来说只需要用到两帧
concurrent-frames 默认等于逻辑处理器数量，我测下来等于 1.5 倍逻辑处理器数量时一些默认会掉帧复杂场景能处理的过来了（Haswell 4核无超线程 svp to 60，Whiskey Lake 6核开超线程 svp to 120，Vermeer 12核开超线程 rife x2 + svp 120）。不过不是很理解为什么，这里应该只是解码消耗，特别是24个逻辑处理器也有这种现象，很怪异

[hooke007]

你那的r7测下来有没有这个问题
https://github.com/HomeOfVapourSynthEvolution/VapourSynth-RIFE-ncnn-Vulkan/issues/35

[natural-harmonia-gropius]

会崩

[natural-harmonia-gropius]

你试过vseditor跑vfr的视频吗，mpv传到vs里总是vfr的数据

[hooke007]

vse跑vfr也不崩

[natural-harmonia-gropius]

vsh::muldivRational(&d->factorNum, &d->factorDen, d->vi.fpsDen, d->vi.fpsNum);
我感觉是这行报的错，clip.fps_den 照文档说的应该是0

[1VeniVediVeci1]

3070笔记本用了trt可以进行1080p实时倍频了，非常舒适，不过感觉原来的代码有点问题，个人是修改了2倍频版本的vs脚本才用起来的。

[ww2283]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

[ww2283]

并不奇怪啊（大多数视频都是24(23.976)FPS），目的是流畅，实际达到40+FPS的时候肉眼感官已经很好了，没有必要追求补帧到60（显示器的实际刷新也基本不是整数60）。 display-resample会完善最终阶段的输出采样匹配刷新率。 ncnn做2.x倍和3倍几乎是一样的性能开销（我猜内部始终是做到3倍然后抽帧或者采样处理）

hmmm，有道理

[1VeniVediVeci1]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

那个warning应该是cuda11.7以后新增的一个添加环境变量的warning，可以减少内存占用，不影响推理速度

[ww2283]

感谢！我看到生成引擎文件的时候提示了一句话， 大意是参考TensorRT官方配置预配置好的话可以调用更大的库。一闪就过去了，没来得及记下来。总之目前用起来TensorRT版确实非常流畅。

有相关提示吗？我这边生成好像没有

就是当时跳出来的那个cmd窗口有一行warning，很快就过去了。确实也不影响使用，这个版本我已经非常满足了，等下个版本再折腾一下。

那个warning应该是cuda11.7以后新增的一个添加环境变量的warning，可以减少内存占用，不影响推理速度

哦好的，多谢！那就省事了～目前内存大大的富裕，不折腾了

[lgthappy]

3070笔记本用了trt可以进行1080p实时倍频了，非常舒适，不过感觉原来的代码有点问题，个人是修改了2倍频版本的vs脚本才用起来的。

我也刚刚看到，你的代码方便发出来吗？转换及补帧的代码，我很想学习，但不太会

[hooke007]

以前就可以，只有极个别原生滤镜会自动触发autoconvert帮你做（像素格式）转换。跑软解或者copy就不需要autoconvert。

[catshitz]

2023年了，SVP4Pro的RIFE-Tensor带4K还是有点吃力（看来不上4090不行）😅

[hooke007]

一样是来自上游的方案，没有区别（2160p24fpsx2 4080就足够了

[microka]

大佬，请问如果是4K原盘24fps补帧到48fps，4080足够吗？有没哪些场景是4080仍吃力需要上4090才能满足的？（手持Intel UHD750核显还没入独显

[hooke007]

码率无关。但是4.6之后性能消耗已开始大幅上升

[microka]

所以是能上4090会更好吗？😂

[letterk]

我这里怎么rife的瑕疵率高于mvtools 画面经常抽搐畸变 伪影rife确实比较好

[hooke007]

忘了记录了，密集的网格线条是重灾区

[letterk]

还有某些字幕直接在视频里的, 比如这个b站上的电影, 字幕都在抖
是对线条支持不好吗

[oblessnoob]

硬字幕这种在运动物体上面叠一层字的情况属于细小物体运动问题，目前绝大多数光流算法和补帧算法都不能很好地解决这个问题

[yueisme]

我在使用 2023EX 版本的MEMC_RIFE_STD.vpy，GPU 1080ti 流畅播放1080p及以上视频大概需要改成H_Pre = 900以内

HDR映射SDR时，画面整体亮度高的镜头（比如天空）有闪烁的现象

[hooke007]

无关rife
vs滤镜不参与tonemap
另 1080可以用trt

[yueisme]

2024v0 vsMega版本的MEMC_RIFE_NV.vpy启动报错

错误日志

[02/25/2024-21:09:47] [I] [TRT] Global timing cache in use. Profiling results in this builder pass will be stored.
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000000201ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020401ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020601ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020801ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a01ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c01ac due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000000020279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002040279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002060279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002080279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a0279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c0279 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000000020628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002040628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002060628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x0000000002080628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020a0628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[9]: Skipping tactic 0x00000000020c0628 due to exception no kernel image is available for execution on the device
[02/25/2024-21:09:53] [E] Error[10]: Could not find any implementation for node ConvTranspose_42.
[02/25/2024-21:09:53] [E] Error[10]: [optimizer.cpp::nvinfer1::builder::cgraph::LeafCNode::computeCosts::4048] Error Code 10: Internal Error (Could not find any implementation for node ConvTranspose_42.)
[02/25/2024-21:09:53] [E] Engine could not be created from network
[02/25/2024-21:09:53] [E] Building engine failed
[02/25/2024-21:09:53] [E] Failed to create engine from model or file.
[02/25/2024-21:09:53] [E] Engine set up failed
&&&& FAILED TensorRT.trtexec [TensorRT v9200] # C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\vsmlrt-cuda\trtexec --onnx=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\rife_v4.6.onnx --timingCacheFile=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\4490c10d.engine.cache --device=0 --saveEngine=C:/Users/yue/Downloads/mpv-lazy-20240102-vsMega/mpv-lazy/vapoursynth64/plugins\models\rife\4490c10d.engine --minShapes=input:1x11x256x320 --optShapes=input:1x11x1088x1920 --maxShapes=input:1x11x2176x4096 --fp16 --tacticSources=-CUBLAS,-CUBLAS_LT,-CUDNN,+EDGE_MASK_CONVOLUTIONS,+JIT_CONVOLUTIONS --useCudaGraph --noDataTransfers --noTF32 --inputIOFormats=fp16:chw --outputIOFormats=fp16:chw --layerPrecisions=*:fp16 --layerOutputTypes=*:fp16 --precisionConstraints=obey --builderOptimizationLevel=3

2023EX vsMega版本能正常开启，但是性能差到无法使用🥲

[yueisme]

vs滤镜不参与tonemap

对比过开关RIFE，确实是有低强度的闪烁，应该是模型的瑕疵？

[hooke007]

亮度数据一种由mpv实时测量，另一种由上一帧复制，无论如何与rife无关。
帧率和画面都改变了，但mpv没有对应的正确处理，不是rife的问题。

这个问题建议调节hdr相关的选项。

[hooke007]

启动报错

可能和fp16有关，trt提升了最低硬件要求，最后一个兼容的n卡10系的版本应该是2023V1

edit: 2025.04.19 目前 RIFE_DML 已经跑通测试，非RTX的n卡可选DirectML版本作为替代。

[sf467]

目前没有找到在 linux 下使用 tensorRT 的 RIFE 补帧方法

[tanyiok1234]

这还真不是，比如我在arch下试过是可以的，你需要AUR的vapoursynth-plugin-mlrt-trt-runtime-git包。。。其它系统嘛。。。加油

[sf467]

又折腾了折腾，当时确实安装的这个包，也就顺便开始装 tensorrt,
因为 makepkg 的工作目录我定在了 /tmp 里导致编译 tensorrt 的时候内存满了，编译没成功。当时我以为这包是坏的（

[sf467]

这还真不是，比如我在arch下试过是可以的，你需要AUR的vapoursynth-plugin-mlrt-trt-runtime-git包。。。其它系统嘛。。。加油

另外我看到 AUR 上这个包上标了一个 8vram ，是不是显存比这个小的就用不了了

[tanyiok1234]

这还真不是，比如我在arch下试过是可以的，你需要AUR的vapoursynth-plugin-mlrt-trt-runtime-git包。。。其它系统嘛。。。加油

另外我看到 AUR 上这个包上标了一个 8vram ，是不是显存比这个小的就用不了了

我觉得不见得，看实际用什么模型。。。不过我没有小于8G的卡了，你还是直接试一试最快

[hooke007]

ws_size 可以限制显存用量

[GoldJohnKing]

有个奇怪的问题。
我用2024V3版本，在7900XTX上，只要启用了RIFE_STD，一暂停mpv就崩了。
但是换成4090，还是用2024V3的RIFE_STD，就没这个问题……😅
迷惑。

[hooke007]

这些项目几乎没人会用a卡的，会崩不奇怪，大概率没人测试a卡

[GoldJohnKing]

我发现了，MEMC_RIFE_STD.vpy脚本里，Skip = True，就会在点进度条、暂停或者播放结束的时候崩掉。False就没问题。😂
我是不是该报给上游去？

[hooke007]

很难汇报，要用vseditor做单脚本复现，否则你无法确认这个问题点在mpv的接口还是vs的接口还是插件的问题

[CANNONGH]

If I set H_Pre to 1080 and perform frame interpolation on a 4K video using RIFE, will the output quality be reduced to Full HD?

[hooke007]

Sure, it dscales to 1080p firstly and then does interpolation.

[skiqing]

心血来潮突然测试了下4K（H_Pre =1440）视频我6800XT部分可以带动。。。

[hooke007]

2k补帧的数据没有量化测试过，这个等级的显卡能用也不奇怪