Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 프레임의 크기 및 포맷 변경 예제(scaling_video.c)

지난 예제에 이어,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 오디오 필터 예제(filter_audio.c)
; https://www.sysnet.pe.kr/2/0/12952

이번에는 ffmpeg 예제 중 "scaling_video.c" 파일을 FFmpeg.AutoGen으로 포팅하겠습니다.

using FFmpeg.AutoGen;
using FFmpeg.AutoGen.Example;
using System;
using System.IO;

namespace FFmpegApp1
{
    internal unsafe class Program
    {
        static unsafe int Main(string[] args)
        {
            FFmpegBinariesHelper.RegisterFFmpegBinaries();

#if DEBUG
            Console.WriteLine("Current directory: " + Environment.CurrentDirectory);
            Console.WriteLine("Running in {0}-bit mode.", Environment.Is64BitProcess ? "64" : "32");
            Console.WriteLine($"FFmpeg version info: {ffmpeg.av_version_info()}");
#endif
            Console.WriteLine();

            byte_ptrArray4 src_data = new byte_ptrArray4();
            byte_ptrArray4 dst_data = new byte_ptrArray4();

            int_array4 src_linesize = new int_array4();
            int_array4 dst_linesize = new int_array4();

            int src_w = 320, src_h = 240, dst_w, dst_h;
            AVPixelFormat src_pix_fmt = AVPixelFormat.AV_PIX_FMT_YUV420P, dst_pix_fmt = AVPixelFormat.AV_PIX_FMT_RGB24;
            string dst_size = null;
            string dst_filename = null;

            int dst_bufsize = 0;
            SwsContext* sws_ctx = null;

            int i, ret;

            dst_filename = @"c:\temp\output\test.mp4";
            dst_size = "cif"; // 352x288
            // dst_size = "hd1080"; // 1920x1080

            if (VideoSizeAbbr.av_parse_video_size(&dst_w, &dst_h, dst_size) < 0)
            {
                Console.WriteLine($"Invalid size {dst_size}, must be in the form WxH or a valid abbreviation");
                return 1;
            }

            using FileStream fs = File.Create(dst_filename);

            do
            {
                sws_ctx = ffmpeg.sws_getContext(src_w, src_h, src_pix_fmt, dst_w, dst_h, dst_pix_fmt, ffmpeg.SWS_BILINEAR, null, null, null);
                if (sws_ctx == null)
                {
                    Console.WriteLine($"Impossible to create scale context for the conversion fmt:{ffmpeg.av_get_pix_fmt_name(src_pix_fmt)} s:{src_w}x{src_h} -> fmt:{ffmpeg.av_get_pix_fmt_name(dst_pix_fmt)} s:{dst_w}x{dst_h}");
                    ret = ffmpeg.AVERROR(ffmpeg.EINVAL);
                    break;
                }

                if ((ret = ffmpeg.av_image_alloc(ref src_data, ref src_linesize, src_w, src_h, src_pix_fmt, 16)) < 0)
                {
                    Console.WriteLine("Could not allocate source image");
                    break;
                }

                if ((ret = ffmpeg.av_image_alloc(ref dst_data, ref dst_linesize, dst_w, dst_h, dst_pix_fmt, 1)) < 0)
                {
                    Console.WriteLine("Could not allocate destination image");
                    break;
                }

                dst_bufsize = ret;

                for (i = 0; i < 100; i ++)
                {
                    fill_yuv_image(src_data, src_linesize, src_w, src_h, i);

                    ffmpeg.sws_scale(sws_ctx, src_data, src_linesize, 0, src_h, dst_data, dst_linesize);

                    ReadOnlySpan<byte> buffer = new ReadOnlySpan<byte>(dst_data[0], dst_bufsize);
                    fs.Write(buffer);
                }

                Console.WriteLine("Scaling succeeded. Play the output file with the command:");
                Console.WriteLine($"ffplay -f rawvideo -pix_fmt {ffmpeg.av_get_pix_fmt_name(dst_pix_fmt)} -video_size {dst_w}x{dst_h} {dst_filename}");

            } while (false);

            if (src_data[0] != null)
            {
                ffmpeg.av_freep(&src_data);
            }

            if (dst_data[0] != null)
            {
                ffmpeg.av_freep(&dst_data);
            }

            if (sws_ctx != null)
            {
                ffmpeg.sws_freeContext(sws_ctx);
            }

            return 0;
        }


        static unsafe void fill_yuv_image(byte*[] data, int[] linesize, int width, int height, int frame_index)
        {
            int x, y;

            for (y = 0; y < height; y++)
            {
                for (x = 0; x < width; x++)
                {
                    data[0][y * linesize[0] + x] = (byte)(x + y + frame_index * 3);
                }
            }

            for (y = 0; y < height / 2; y++)
            {
                for (x = 0; x < width / 2; x++)
                {
                    data[1][y * linesize[1] + x] = (byte)(128 + y + frame_index * 2);
                    data[2][y * linesize[2] + x] = (byte)(64 + x + frame_index * 5);
                }
            }
        }

        public class VideoSizeAbbr
        {
            string _abbr;
            public string Abbr => _abbr;

            int _width;
            public int Width => _width;

            int _height;
            public int Height => _height;

            public VideoSizeAbbr(string abbr, int width, int height)
            {
                _abbr = abbr;
                _width = width;
                _height = height;
            }

            public static VideoSizeAbbr[] Video_size_abbrs => _video_size_abbrs;

            static VideoSizeAbbr[] _video_size_abbrs = new VideoSizeAbbr[] {
                 new ("ntsc",      720, 480),
                 new ("pal",       720, 576 ),
                 new ("qntsc",     352, 240 ), /* VCD compliant NTSC */
                 new ("qpal",      352, 288 ), /* VCD compliant PAL */
                 new ("sntsc",     640, 480 ), /* square pixel NTSC */
                 new ("spal",      768, 576 ), /* square pixel PAL */
                 new ("film",      352, 240 ),
                 new ("ntsc-film", 352, 240 ),
                 new ("sqcif",     128,  96 ),
                 new ("qcif",      176, 144 ),
                 new ("cif",       352, 288 ),
                 new ("4cif",      704, 576 ),
                 new ("16cif",    1408,1152 ),
                 new ("qqvga",     160, 120 ),
                 new ("qvga",      320, 240 ),
                 new ("vga",       640, 480 ),
                 new ("svga",      800, 600 ),
                 new ("xga",      1024, 768 ),
                 new ("uxga",     1600,1200 ),
                 new ("qxga",     2048,1536 ),
                 new ("sxga",     1280,1024 ),
                 new ("qsxga",    2560,2048 ),
                 new ("hsxga",    5120,4096 ),
                 new ("wvga",      852, 480 ),
                 new ("wxga",     1366, 768 ),
                 new ("wsxga",    1600,1024 ),
                 new ("wuxga",    1920,1200 ),
                 new ("woxga",    2560,1600 ),
                 new ("wqhd",     2560,1440 ),
                 new ("wqsxga",   3200,2048 ),
                 new ("wquxga",   3840,2400 ),
                 new ("whsxga",   6400,4096 ),
                 new ("whuxga",   7680,4800 ),
                 new ("cga",       320, 200 ),
                 new ("ega",       640, 350 ),
                 new ("hd480",     852, 480 ),
                 new ("hd720",    1280, 720 ),
                 new ("hd1080",   1920,1080 ),
                 new ("quadhd",   2560,1440 ),
                 new ("2k",       2048,1080 ), /* Digital Cinema System Specification */
                 new ("2kdci",    2048,1080 ),
                 new ("2kflat",   1998,1080 ),
                 new ("2kscope",  2048, 858 ),
                 new ("4k",       4096,2160 ), /* Digital Cinema System Specification */
                 new ("4kdci",    4096,2160 ),
                 new ("4kflat",   3996,2160 ),
                 new ("4kscope",  4096,1716 ),
                 new ("nhd",       640,360  ),
                 new ("hqvga",     240,160  ),
                 new ("wqvga",     400,240  ),
                 new ("fwqvga",    432,240  ),
                 new ("hvga",      480,320  ),
                 new ("qhd",       960,540  ),
                 new ("uhd2160",  3840,2160 ),
                 new ("uhd4320",  7680,4320 ),
             };

            public static unsafe int av_parse_video_size(int* width_ptr, int* height_ptr, string str)
            {
                int i;
                int n = VideoSizeAbbr.Video_size_abbrs.Length;
                int width = 0;
                int height = 0;

                for (i = 0; i < n; i++)
                {
                    if (VideoSizeAbbr.Video_size_abbrs[i].Abbr == str)
                    {
                        width = VideoSizeAbbr.Video_size_abbrs[i].Width;
                        height = VideoSizeAbbr.Video_size_abbrs[i].Height;
                        break;
                    }
                }

                if (i == n)
                {
                    string[] size = str.Split('x');
                    int.TryParse(size[0], out width);
                    int.TryParse(size[1], out height);
                }

                if (width <= 0 || height <= 0)
                {
                    return ffmpeg.AVERROR(ffmpeg.EINVAL);
                }

                *width_ptr = width;
                *height_ptr = height;
                return 0;
            }
        }

    }
}

이번 포팅 예제는 이미 지난 글들에서 모두 다뤘기 때문에 그래도 눈에 잘 들어옵니다. ^^

av_image_alloc으로 AVPixelFormat과 width, height에 따른 1개 프레임만큼의 메모리를 할당할 수 있습니다. 해당 영역에 fill_yuv_image를 이용해, YUV420P 포맷의 색을 채워 넣고 다시 sws_scale로 RGB24 포맷의 프레임으로 변환합니다.

그런 다음, 해당 RGB 데이터 이미지를 하나의 파일에 연속으로 쓰고 마지막에 어떻게 ffplay로 볼 수 있는지 방법을 알려줍니다. 가령, 352x288 크기의 이미지였다면 다음과 같이 재생할 수 있습니다.

c:\temp> ffplay -f rawvideo -pix_fmt rgb24 -video_size 352x288 c:\temp\output\test.mp4

scaling_video_1.png

마지막으로 아래의 예제에서는 YUV420P 포맷을 AV_PIX_FMT_GRAY8 포맷으로 변환했었습니다.

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 디코딩 예제(decode_video.c) - 두 번째 이야기
; https://www.sysnet.pe.kr/2/0/12959#gray8

(첨부 파일은 이 글의 예제 코드를 포함합니다.)
(이 글의 소스 코드는 github에 올려져 있습니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 3/13/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-02-10 07시06분
[후드] 정성태님 ffmpwg 관련글 읽고있습니다.. 혹시 Ffmpeg h264 기반 영상 저장 하는 기능을 만들고 잇는데...비디오랑 오디오 머지하는 기능도 블로그에서 다뤄주심 안될가용 ..??
[손님]
2022-02-10 08시28분
다루긴 할 건데요, ^^; 사실 저도 ffmpeg를 조금씩 공부하면서 하는 거라 언제 다룰 지는 장담할 수 없습니다. 어쩌면 후드님이 기다리지 못하고 구현하는 쪽이 더 확률이 높을 것입니다. (그러니까, 저도 ffmpeg에 관해서는 완전 초보입니다. ^^)
정성태
2022-02-11 09시58분
[guest] 답변 감사합니다. 저도 ffmpeg 초보라서 ㅋㅋㅋㅋㅋ 정성태님이 ffmpeg만 올려주신 블로그 내용만 추려서 보고 있어요ㅋㅋㅋㅋㅋ 그래서 영상은 OpencvSharp4에 4.5버전 기반으로 vedio writer로 프레임 끊김없이 저장은되는데
소리가 안나더군요 ㅋㅋㅋㅋㅋ그래서 다시 로우레벨인 ffmpeg 기반으로 내려와서 시도중인데.... 이건 뭐 영상만 저장하는것도 쉽지가 않더군요.. 영상 저장해도 프레임 싱크가 안맞아서 그런지 저장된 영상 플레이 해보면 느릿느릿하게 슬로우 모션처럼 프레임이 흘러가거나 아이에 동영상 플레이가 될수 있는 조건이 안맞거나 프레임이 바로 끝나버리거나 하는데.. 이건 어떻해 해야할지도 막막하더군요 ㅠㅠ 다행이 다뤄주신다니 저야 감사할다름이죠ㅠㅠ 아 그리고 OpencvSharp4 mp4 즉 h264 기반으로 영상만? 저장 하실일이계신다면 시스코 오픈소스에서 제공해주는 openh264-2.2.0-win64.dll 이용하는데 OpenCvSharp.dll 같은 위치에 있으면 됩니다 openh264-2.2.0-win64.dll 다운로드는 https://github.com/cisco/openh264/releases 여기서 받음 되요.
정성태님과 같이 ffmpeg를 다루는거같아 기분이 좋군요 ㅎㅎ
[손님]
2022-02-11 10시16분
^^ openh264 정보 감사합니다. ffmpeg 공부하면서 때가 되면 한번 사용해봐야겠군요. 그나저나 요즘 벌려놓은 일이 많아서, 원래는 ffmpeg 예제도 하루 한 번씩 포팅해서 완료를 하려고 했는데, 그것마저도 못 하고 있습니다. ^^;

(오그라드는 멘트는 답변 편집으로 제거했습니다.)
정성태
2022-02-14 11시10분
[이승준] 비디오/오디오 먹싱은 데이터가 선형으로 입력만 잘 들어온다면 비디오, 오디오, 비디오, 오디오,...
형태로 저장만 해도 되기는 합니다. 다만 싱크까지 고려한다면 좀 복잡한 부분이 필요합니다.
pts 에 대해서 알아야 하고 또 관련 api들의 사용법도 알아야 합니다.
이건 샘플소스를 분석해서는 답이 안나오고 ffmpeg.c 파일을 분석해야 하는데.
이게 크기도 하고 좀 많이 복잡합니다.

그리고 openh264는 ffmpeg 빌드할때 추가 가능합니다. 다만 그냥 써도 된다는거 외에는 굳이?
정도의 성능과 화질을 보여줍니다.
[손님]
2022-02-14 12시53분
@후드 님, 제가 쓴 글에 혹시 이승준 님 답변이 달리면 그걸 꼭 읽어보는 것이 더 도움이 될 것입니다. ^^
정성태
2022-02-14 02시19분
[후드] 정성태님,이승준님 감사합니다 ^^ ffmpeg 하면서 api 도 방대해서 분석 하기도 힘들고, 빌드환경 구축도 쉽지 않은데,,, 두분께서 팔벗고 애써주시니 저야 너무 영광스럽군요^^
[손님]

1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12991정성태3/2/2022955.NET Framework: 1170. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 transcode_aac.c 예제 포팅
12990정성태3/2/2022964오류 유형: 797. msbuild - The BaseOutputPath/OutputPath property is not set for project '[...].vcxproj'
12989정성태3/2/2022933오류 유형: 796. mstest.exe - System.IO.FileNotFoundException: Could not load file or assembly 'Microsoft.VisualStudio.QualityTools.Tips.WebLoadTest.Tip
12988정성태3/2/2022771오류 유형: 795. CI 환경에서 Docker build 시 csproj의 Link 파일에 대한 빌드 오류
12987정성태3/1/2022922.NET Framework: 1169. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 demuxing_decoding.c 예제 포팅
12986정성태2/28/2022942.NET Framework: 1168. C# -IIncrementalGenerator를 적용한 Version 2 Source Generator 실습
12985정성태2/28/20221015.NET Framework: 1167. C# -Version 1 Source Generator 실습
12984정성태2/24/2022875.NET Framework: 1166. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 filtering_video.c 예제 포팅
12983정성태2/24/2022861.NET Framework: 1165. .NET Core/5+ 빌드 시 runtimeconfig.json에 설정을 반영하는 방법
12982정성태2/24/2022841.NET Framework: 1164. HTTP Error 500.31 - ANCM Failed to Find Native Dependencies
12981정성태2/23/2022891VC++: 154. C/C++ 언어의 문자열 Literal에 인덱스 적용하는 구문 [1]
12980정성태2/23/20221115.NET Framework: 1163. C# - 윈도우 환경에서 usleep을 호출하는 방법 [2]
12979정성태2/22/20221366.NET Framework: 1162. C# - 인텔 CPU의 P-Core와 E-Core를 구분하는 방법파일 다운로드1
12978정성태2/21/2022854.NET Framework: 1161. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 resampling_audio.c 예제 포팅
12977정성태2/21/20222117.NET Framework: 1160. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 qsv 디코딩
12976정성태2/21/20221304VS.NET IDE: 174. Visual C++ - "External Dependencies" 노드 비활성화하는 방법
12975정성태2/20/20221176.NET Framework: 1159. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 qsvdec.c 예제 포팅파일 다운로드1
12974정성태2/20/2022864.NET Framework: 1158. C# - SqlConnection의 최소 Pooling 수를 초과한 DB 연결은 언제 해제될까요?
12973정성태2/16/20221092개발 환경 구성: 639. ffmpeg.exe - Intel Quick Sync Video(qsv)를 이용한 인코딩 [3]
12972정성태2/16/2022909Windows: 200. Intel CPU의 내장 그래픽 GPU가 작업 관리자에 없다면? [4]
12971정성태2/15/20221847.NET Framework: 1157. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅 [7]파일 다운로드1
12970정성태2/15/20221060.NET Framework: 1156. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기 [1]파일 다운로드1
12969정성태2/14/2022882개발 환경 구성: 638. Visual Studio의 Connection Manager 기능(Remote SSH 관리)을 위한 명령행 도구 - 두 번째 이야기파일 다운로드1
12968정성태2/14/2022652오류 유형: 794. msbuild 에러 - error NETSDK1005: Assets file '...\project.assets.json' doesn't have a target for '...'.
12967정성태2/14/2022860VC++: 153. Visual C++ - C99 표준의 Compund Literals 빌드 방법 [4]
12966정성태2/13/2022858.NET Framework: 1155. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기파일 다운로드1
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...