ESR-GAN

TianFeng AIGC134阅读模式

ESR-GAN

一、前言

CSRGAN(Compressed Sensing with Regularization Generative Adversarial Network)是一种基于生成对抗网络(GAN)和压缩感知(CS)的图像超分辨率(SR)算法。它通过学习图像的稀疏表示来实现超分辨率重建,并使用生成对抗网络来提高重建图像的视觉质量。相较于其他传统的图像超分辨率算法,CSRGAN 在保持图像细节和纹理的同时,还能够有效地减少重建图像中的伪影和噪声。

二、安装使用

1.环境搭建

anaconda和cuda和pytorch环境以前写过详细教程:安装

ESR-GAN

2.源码下载

地址:https://github.com/xinntao/Real-ESRGAN

ESR-GAN

git clone或者zip下载

3.依赖安装

cd cd Real-ESRGAN
python -m pip install -r requirements.txt  已经有torch环境把里面torch,torchvision删掉

ESR-GAN

4.运行,结果在result

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs

ESR-GAN

ESR-GAN

ESR-GAN

ESR-GAN

5.视频修复

ffmpeg下载

原视频
onepiece_demo.mp4
视频分帧输出的文件夹
tmp_frames
重组后的视频名
output_w_audio.mp4
  •  视频分帧
ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg

2. 推理可以按照上面方式也可以下载ncnn文件进行推理Windows / Linux / MacOS

ESR-GAN

./realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg

3. 重组视频

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4

最新版推理文件更新了视频功能,自动下载ffmpeg导入,上述现在仅供参考,不用绕弯

ESR-GAN

使用

默认安装ffmpeg,易与ffmpeg、python-ffmpeg混淆

pip3 uninstall ffmpeg
pip3 install ffmpeg-python
python inference_realesrgan_video.py -n RealESRGAN_x4plus -i ./video/onepiece_demo.mp4 --face_enhance

face_enhance面部修复可选,-s 4,默认4倍放大可修改

 

相关文章
weinxin
我的公众号
微信扫一扫
TianFeng
  • 本文由 发表于 2023年 5月 14日 18:59:02
  • 转载请务必保留本文链接:https://tianfeng.space/934.html