4-1.오디오 리샘플링

비디오는 대충 된 거 같으니 이제 소리를 내 보자. 앞 예제에서 오디오 스트림을 철저히 무시했었는데 이제 영상에 맞춰 소리를 내 볼 것이다. 동영상의 사운드는 다양한 코덱으로 압축되어 있어 이대로는 출력할 수 없다.

스트림에서 패킷을 꺼내 코덱에게 전달하면 압축을 풀어 주지만 이 포맷도 다양하다. 최종 출력 장치가 직접 지원하지 못하면 포맷을 바꿔야 한다. 이 프로젝트에서 사용하는 Waveform 라이브러리는 정수형의 샘플만 다룰 수 있어 동영상의 오디오 포맷을 직접 출력하기 어렵다. 확장 기능을 쓰면 가능은 하지만 복잡도가 증가한다.

포맷을 바꾸면서 음질도 출력 장치에 맞게 바꿔야 한다. 소스가 아무리 5.1 채널로 되어 있어도 출력 장치가 2채널밖에 지원하지 않으면 소용 없다. 포맷과 음질을 원하는 형태로 바꾸는 것을 리샘플링이라고 하며 FFmpeg은 소프트웨어 리샘플링(swr) 기능을 제공한다. 다음 함수로 변환 방식을 지정하여 리샘플링 컨텍스트를 생성한다.

struct SwrContext *swr_alloc_set_opts(struct SwrContext *s, int64_t out_ch_layout, enum AVSampleFormat out_sample_fmt, int out_sample_rate, int64_t in_ch_layout, enum AVSampleFormat in_sample_fmt, int in_sample_rate, int log_offset, void *log_ctx)

인수가 아주 많다. 첫 번째 인수 s는 이미 만들어 놓은 컨텍스트가 있으면 옵션을 참조하되 없으면 NULL로 지정한다. out 접두가 붙은 2, 3, 4번째 인수는 채널 레이아웃, 샘플 포맷, 샘플 레이트이며 출력 포맷이다. 출력 장치가 지원한다면 원하는 형식을 마음대로 지정할 수 있다.

in 접두가 붙은 5, 6, 7번째 인수는 입력 포맷을 지정한다. 프레임으로부터 얻은 포맷, 샘플레이트를 넘겨 주되 채널 레이아웃은 채널 수로부터 선택한다. 채널은 소리의 개수이고 채널 레이아웃은 각 소리를 어떤 스피커에 출력할 것인가를 지정한다. 스피커별로 전면 왼쪽은 1, 전면 오른쪽은 2, 전면 중앙은 4, 우퍼는 8 식으로 비트가 할당되어 있으며 후면과 중앙 스피커의 좌우에도 보조 스피커를 둘 수 있다. 채널 수에 어울리는 레이아웃은 다음 함수로 구한다.

int64_t av_get_default_channel_layout(int nb_channels)

채널이 하나 밖에 없다면 중앙 스피커에서 소리가 나야 하니 레이아웃은 4가 된다. 스테레오라면 좌우 스피커로 소리를 분배하므로 레이아웃은 1, 2 둘을 비트 OR한 3이 된다. 채널 수가 더 높으면 후면이나 중앙 스피커 좌우에도 보조 스피커를 배치할 수 있다. 동영상 원본에는 채널수 정보만 있을 뿐이며 어디다 소리를 출력할 것인지, 채널 레이아웃은 사용자가 선택하는 것이다.

이 함수는 채널 수에 따라 무난한 레이아웃을 리턴한다. 이 값을 구해 사용하면 된다. 뒤쪽 인수 둘은 로그를 남길 장비와 로그 레벨이되 필요 없으면 0, NULL로 지정한다. 전달한 옵션대로 리샘플러를 생성하고 옵션을 설정하여 리턴하며 에러 발생시 NULL을 리턴한다. 옵션을 설정한 후 다음 함수로 초기화 하고 다 사용한 후 해제한다.

int swr_init(struct SwrContext *s)

void swr_free(struct SwrContext ** s)

이중 포인터를 넘기면 NULL까지 대입해 준다. 리샘플러를 준비한 후 다음 함수로 리샘플링한다.

int swr_convert (struct SwrContext *s, uint8_t **out, int out_count, const uint8_t ** in, int in_count )

첫번째 인수로 변환 컨텍스트를 주면 지정한 옵션대로 변환해 준다. out는 출력용 버퍼이며 out_count는 출력 버퍼의 크기이되 바이트 단위가 아니라 샘플 개수이다. 평면 포맷인 경우를 위해 출력 버퍼는 2차 배열을 전달받지만 팩 샘플로 출력하는 경우는 첫 번째 배열만 사용한다. in은 입력용 버퍼이며 팩 샘플인 경우는 첫 번째 배열만 사용한다. in_count는 입력 버퍼의 샘플 개수이다.

입력된 샘플보다 출력 버퍼가 더 작으면 변환하지 못한 입력은 버퍼에 남겨 둔다. in과 in_count를 모두 0으로 전달하면 버퍼에 남은 샘플을 다 변환하여 비운다. 다 읽을 때까지 루프를 돌아야 하는 번거로움이 있다. 버퍼링을 피하려면 swr_get_out_samples() 함수로 출력 버퍼의 충분한 크기를 구해 미리 할당하는 것이 좋다. 아니면 미리 넉넉히 할당해 놓는 것도 괜찮다. 20K면 5000개의 샘플을 저장할 수 있으며 대부분의 패킷은 2048개 이하의 샘플을 가진다.

변환된 샘플의 개수를 리턴하며 에러 발생시 음수를 리턴한다. 샘플의 개수를 리턴하는 것이지 바이트 단위가 아니므로 개수에 샘플의 크기를 곱해야 정확한 바이트수를 알 수 있다.