Microsoft MVP성태의 닷넷 이야기
ffmpeg 질문 있습니다! [링크 복사], [링크+제목 복사]
조회: 3282
글쓴 사람
주니어
홈페이지
첨부 파일
 

안녕하세요 ffmpeg 관련해서 질문이 있습니다

현재 진행 중인 프로젝트에서 ffmpeg를 랩핑해서 사용하고 있습니다

QA 진행 중에 예상하지 못했던 이슈가 생겼는데 블로그에 ffmpeg 예제를 보고 에러 개선을 해보려다가 실패해서 답답함에 질문드립니다 ㅠ


일단 간단하게 프로젝트에 대해 설명 드리면

여러 개의 카메라 입력과 오디오 입력을 백그라운드에서 계속 캡쳐하고 있습니다

오디오가 빌트인이 된 카메라이든, 오디오 보조 입력 장치가 있든 간에

사용자가 원하는 대로 카메라와 오디오를 선택해서 하나의 영상으로 만들 수 있습니다

일종의 믹서입니다


카메라는 최대 3채널을 입력 받을 수 있으며, 오디오는 최대 5채널입니다(PC + 오디오 보조 입력 장치)


새로운 비디오 프레임, 새로운 오디오 패킷이 발생할 때마다

ConcurrentQueue에 Enqueue시켰고(srcVideoFrameQueue / srcAudioCircularBuffer)

녹화 버튼을 눌렀을 경우에 사전에 정의해둔 비디오와 오디오에 해당되는 새로운 ConcurrentQueue에 dequeue한 데이터를 enqueue하여 FFmpeg에 MediaWriter를 랩핑하여 호출해서 썼습니다


문제는 립싱크입니다

약 0.5초 정도 립싱크가 맞지 않습니다

PTS를 계산해보니 오디오는 제 때 들어가지만 영상이 느리게 들어갑니다


ConcurrentQueue말고 핸들링 방법이 있을까요?


현재로서는 PTS가 맞지 않을 때 비디오 프레임을 누락시켜서 립싱크를 억지로 맞췄는데

더 좋은 개선 방법이 있을지 궁금합니다 ㅠ


소스코드를 올리고 싶지만 불가능해서 부족하지만 이렇게 글로 설명합니다

이해 안되시는 부분이 있으시면 제가 다시 댓글로 설명 드리겠습니다








[최초 등록일: ]
[최종 수정일: 4/15/2022]


비밀번호

댓글 작성자
 



2022-04-15 09시51분
그러니까, 설명한 바에 따르면 비디오 쪽은 ConcurrentQueue를 사용하고 오디오 쪽은 다른 걸 사용하고 있는데, 아무래도 ConcurrentQueue 쪽이 의심된다는 건가요?

0.5초라면 500ms인데 ConcurrentQueue가 그렇게까지 성능이 낮은 자료 구조는 아닐 것입니다. 일례로, 그냥 thread-safe한 Queue 하나를 직접 제작해서 만들더라도 아마 그 문제는 해결되지 않을 거라고 봅니다. 좀 더 근원적인 문제가 있지 않을까요? ^^ 그게 뭔지는 모르겠지만.

참고로, 저도 ffmpeg에 대해서는 완전 초보입니다. ^^ 개인적으로는 아직 비디오와 오디오의 싱크를 맞춰 본 적도 없습니다.
정성태
2022-04-18 03시20분
[주니어] 아닙니다
오디오도 ConcurrentQueue를 이용하고 있습니다

비디오와 오디오에서 새로운 프레임/패킷이 들어올 때마다 pts를 직접 증가시켜 파라미터로 넘겨서 해결했습니다

이전 로직에서는 ffmpeg mediawriter에서 encode 데이터를 넣어줄 때마다 pts를 증가시켰더니 에러가 난 거 같습니다ㅠ
[guest]

1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
5826Syong2/14/20233070Socket 관련 Leak (OverlappedAsyncResult, OverlappedData) 관련 문의 [7]파일 다운로드1
5825박성원2/14/20232593Listview 컨트롤의 화면 전환 시 갱신 속도 [1]
5823검은콩2/13/20233181catch(Exception ex)의 line번호를 쉽게 알 수 없는지요? [7]
5822김지우2/11/20232555책을 보면서 sync, async 이해가 되지 않는 부분이 있습니다. [5]파일 다운로드2
5821검은콩2/9/20232530Async 신뢰성과 소켓데이터 [4]
5820차가워2/8/20232580다른 프로세스 실행 후 포커스 가져오기 [3]
5819취준생2/7/20232749WPF 관련 실무가 궁금합니다. [3]
5818윤길2/7/20232246ObservableCollection 에서 INotifyPropertyChanged 구현해야하나요? [2]
5817흰털너부리2/7/20232332배포 시 winform 실행 콘솔로그 보는 방법 [1]
5816흰털너부리2/6/20232161.net core json array validation 질문 드립니다. [1]
5815김재영2/6/20232271종단간 암호화에 대해 시나리오인데 타당한 시나리오일까요? [2]
5814한예지 donator2/6/20232543decompile? [9]
5813김재영2/5/20232553openssl genrsa 2048시 키 생성이 다르게 됩니다. - 파일첨부 [4]파일 다운로드1
5812김재영2/5/20232764openssl genrsa 2048시 키 생성이 다르게 됩니다. [2]
5811치르바2/3/20232664MiniDumpWriteDump API로 덤프수집을 했는데요.. [3]
5810이건우1/31/20232612윈도우서비스를 통한 웹통신관련 질문입니다 [3]
5809이상훈1/31/20233121다채널 영상 디스플레이어 개발 관련 질문입니다. [3]
5808근우1/30/20232756WPF 에서 UserControl 과 ControlTemplate 의 차이점은 무엇인가요? [6]
5807궁금맨1/28/20233904C# 10 책에 나온 예제의 결과가 제 컴에서는 좀 달라서요. 이유가 궁금합니다. [1]
5806스레드1/25/20232430총정리 - 다양한 스레드들 [초안] [1]파일 다운로드1
5805어웨이트1/25/20232270Taskcontinuewith vs Async/Await [2]파일 다운로드1
5804나이많은...1/25/20232137MS의 Dependency Injection(DI)에 AddSingleton으로 등록된 객체의 Event 등록후 사용시 앱 종료시 별도로 Event를 해지해야 하나요? [2]
5803dssc...1/24/20232512드라이브 문자를 통해서 물리 디스크 명칭을 알아내고 싶습니다. [1]
5802모바일앱1/22/20232311XAMARINE vs Android Studio [7]
5801블루투스1/19/20232992WPF 은행지폐계수기 개조 후 결과값 서버 전송 [2]파일 다운로드1
5800김민아1/19/20233363안녕하세요 가비지 컬렉터 동작 원리 중 궁금한점이 있습니다 [5]
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...