使用FFmpeg在Android应用中处理音视频文件

随着移动设备的发展，使用音视频媒体已成为移动应用开发的一个重要方向。而对于开发者来说，想要处理音视频文件，FFmpeg提供了一个强大而有用的工具。在本文中，我们将详细介绍如何在Android应用中使用FFmpeg库进行音视频文件的处理。

一、安装FFmpeg库

首先，我们需要下载FFmpeg库，并将其添加到Android Studio项目中。可以在这里下载

下载完FFmpeg之后，将其解压到任意位置，并从解压目录中拷贝libffmpeg.so文件到我们的Android Studio项目的jniLibs目录下。

二、使用FFmpeg库处理音视频文件

1. 获取音视频文件的基本信息

首先，我们需要获取我们要处理的音视频文件的基本信息，例如长度，帧率等等。在FFmpeg中可以使用AVFormatContext结构体来获取音视频文件的基本信息。

AVFormatContext *pFormatCtx;
int videoStream, i;
AVCodecContext *pCodecCtxOrig = NULL;
AVCodecContext *pCodecCtx = NULL;
AVCodec *pCodec = NULL;
AVFrame *pFrame = NULL;
AVPacket packet;
int frameFinished;
int numBytes;
uint8_t *buffer = NULL;

// 1. 注册FFmpeg库中的所有编解码器、格式和协议。
av_register_all();

// 2. 打开要处理的音视频文件，并读取信息。
if(avformat_open_input(&pFormatCtx, inputFilePath, NULL, NULL) != 0) {
    return;
}

if(avformat_find_stream_info(pFormatCtx, NULL) < 0) {
    return;
}

av_dump_format(pFormatCtx, 0, inputFilePath, 0);

// 3. 遍历音视频文件中的所有流，找到第一个视频流向。
videoStream=-1;

for(i=0; inb_streams; i++) {
    if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
        videoStream=i;
        break;
    }
}

if(videoStream==-1) {
    return;
}

// 4. 获取音视频编解码器的上下文，并通过编解码器ID获取编解码器实例。
pCodecCtxOrig=pFormatCtx->streams[videoStream]->codec;

pCodec = avcodec_find_decoder(pCodecCtxOrig->codec_id);

if(pCodec == NULL) {
    return;
}

// 4. 分配编解码器上下文并将其复制到新的编解码器上下文中。
pCodecCtx = avcodec_alloc_context3(pCodec);

if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {
    return;
}

// 5. 开始解码音视频帧。
if(avcodec_open2(pCodecCtx, pCodec, NULL)<0) {
    return;
}

pFrame = av_frame_alloc();

while(av_read_frame(pFormatCtx, &packet)>=0) {
    if(packet.stream_index == videoStream) {
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
    }

    av_free_packet(&packet);
}

  

2. 视频帧的转换与处理

在获取到视频帧之后，我们可以对视频帧进行转化和处理。在FFmpeg中，可以使用sws_scale函数来进行视频帧转换。例如，将一帧视频从源格式转换为目标格式：

// 1. 注册FFmpeg库中的所有编解码器、格式和协议。
av_register_all();

// 2. 创建并初始化源图像的AVFrame实例。
AVFrame *pFrameSrc = av_frame_alloc();
pFrameSrc->format = AV_PIX_FMT_NV21;
pFrameSrc->width = srcWidth;
pFrameSrc->height = srcHeight;
av_new_packet(&packet, numBytes);

// 3. 将数据填充到源图像的AVFrame实例中。
avpicture_fill((AVPicture*)pFrameSrc, (uint8_t*)srcData, AV_PIX_FMT_NV21, srcWidth, srcHeight);

// 4. 创建并初始化目标图像的AVFrame实例。
AVFrame *pFrameDst = av_frame_alloc();
pFrameDst->format = AV_PIX_FMT_RGB24;
pFrameDst->width = dstWidth;
pFrameDst->height = dstHeight;

// 5. 初始化图像转换上下文。
struct SwsContext *sws_ctx = sws_getContext(srcWidth, srcHeight, AV_PIX_FMT_NV21,
    dstWidth, dstHeight, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL);

// 6. 转换图像数据。
sws_scale(sws_ctx, pFrameSrc->data, pFrameSrc->linesize, 0, srcHeight,
    pFrameDst->data, pFrameDst->linesize);

// 7. 释放源图像和目标图像的AVFrame实例。
av_frame_free(&pFrameSrc);
av_frame_free(&pFrameDst);

3. 视频帧的编码和写入

在对视频帧进行处理之后，我们可以使用编码器将其保存为指定格式的视频文件。需要注意的是，视频编码器与解码器不同。在FFmpeg中，可以使用AVCodecContext结构体来创建视频编码器并将其写入文件。

// 1. 注册FFmpeg库中的所有编解码器、格式和协议。
av_register_all();

// 2. 使用AVCodec结构体获取编码器实例。
AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);
if (!codec) {
    return;
}

// 3. 创建并初始化编码器上下文。
AVCodecContext *codec_context = avcodec_alloc_context3(codec);
codec_context->bit_rate = bitRate;
codec_context->width = width;
codec_context->height = height;
codec_context->time_base = (AVRational){1, frameRate};
codec_context->gop_size = 10;
codec_context->max_b_frames = 1;
codec_context->pix_fmt = AV_PIX_FMT_YUV420P;

// 4. 打开编码器。
if (avcodec_open2(codec_context, codec, NULL) < 0) {
    return;
}

// 5. 创建并初始化输出数据包AVPacket结构体。
AVPacket packet;
av_init_packet(&packet);
packet.data = NULL;
packet.size = 0;

// 6. 打开输出文件。
FILE *file = fopen(outputFilePath, "wb");
if (!file) {
    return;
}

// 7. 循环编码并写入数据。
for (int i = 0; i < num_frames; i++) {
    // 7.1 从应用中获取帧的数据并设置AVFrame结构体。
    uint8_t *data[] = {y_data, u_data, v_data};
    int linesize[] = {width, width / 2, width / 2};
    AVFrame *frame = av_frame_alloc();
    av_image_fill_arrays(frame->data, frame->linesize, data, codec_context->pix_fmt, width, height, 1);
    frame->pts = i;

    // 7.2 发送AVFrame结构体到编码器进行编码，并检查编码器返回的结果。
    int result = avcodec_send_frame(codec_context, frame);
    if (result < 0) {
        return;
    }

    // 7.3 从编码器中获得编码的视频数据，并将输出到文件中。
    while (result >= 0) {
        result = avcodec_receive_packet(codec_context, &packet);
        if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
            break;
        } else if (result < 0) {
            return;
        }

        fwrite(packet.data, 1, packet.size, file);
        av_packet_unref(&packet);
    }

    av_frame_free(&frame);
}

// 8. 写入每个时间戳的结尾。
av_write_trailer(codec_context);

// 9. 关闭输出文件。
fclose(file);

三、总结

FFmpeg是一个强大而实用的工具，可以帮助我们轻松处理音视频文件。通过使用FFmpeg库，我们可以获取音视频文件的基本信息，并且将其编码、转换和写入到指定格式的文件。虽然这个过程可能有些复杂，但FFmpeg库提供的各种函数和结构体为开发人员提供了很大的帮助。