使用ffmpeg-rockchip对H264数据进行硬件解码失败

[CETC-AIoT]

硬件平台：RK3568 内核：4.19.192/5.10.198 mpp版本：2023-12-14版本及最新版本

使用avcodec_send_packet方法（h264_rkmpp）进行解码，其中avpacket是通过av_parser_parse2方法解析内存得到的， 但是这个方法返回报错，先是返回-11，然后返回 -542398533（Generic error in an external library.） 把h264码流保存为文件，然后使用mpi_dec_test进行解码，则有些帧可以解，大部分解不了，显示err 10 discard 0. 而使用AV_CODEC_ID_H264对avpacket进行软解则没有问题，请问一下是什么问题？是mpp的兼容性问题么？ 另外使用软件的时候，有时解码之后的格式是NV12，有时候是YUV420P，请问这个是怎么设置的？

h264视频文件： video.zip

[HermanChen]

默认 develop 分支对 ffmpeg 没有支持，要用 ffmpeg 的话试下这个 https://github.com/nyanmisaka/ffmpeg-rockchip 是整合得比较好的仓库

[CETC-AIoT]

您好，我们使用的就是nyanmisaka的版本，我也在他那里提了issue，它给的反馈是ffmpeg调用的是mpp的接口

[CETC-AIoT]

谢谢回复。 我发现一个奇怪的事情，我跳过开始的60帧数据，然后开始解码，这时候出错的概率很高，大概140多次EAGAIN错误之后就会报"Generic error in an extenal library"的错误，但是我从第一帧开始解码，成功的概率就会高很多，一旦成功后面的数据就能正确解码。 另外我把两次的数据保存到文件，然后使用mpi_dec_test进行解码，结果也是随机的，并且并不是每一帧都能正确解码。 视频流中GOP=30，每一帧结尾都有 AUD信息-固定 6 字节：0x00 0x00 0x00 0x01 0x09 0x10 我使用av_parser_parse2对每一帧数据进行处理，它会把数据帧分为两部分，第一部分长度不定，第二部分长度是237字节，我是对第一部分进行解码。 文件大于25MB，不能上传，如果需要可以发到您的邮箱。

[HermanChen]

解码器一般都是要从 I 帧开始解码，sps/pps 这些头信息也是跟着 I 帧走的，从半当中开始的话，会缺少这些头信息，导致无法解码

[CETC-AIoT]

从第一帧开始去解码，成功概率提升，大概平均3次里面会有两次会成功，还有一次会失败。跳过前面60帧，可能10多次里面会有一次成功。 在ffmpeg中调用mpp的api大概140多次EAGAIN错误之后就会报"Generic error in an extenal library"的错误，之后就会一直报错，请问一下这个可以把帧数提高一点再报错么？保存为文件之后，有时200+帧的时候就可以正常解码了

[CETC-AIoT]

我存为文件进行解码，结果随机，有时候可以正确解码，有时候会出错，但出错的时候，一定是第147个包 代码如下： #include #include extern "C" { #include <libavformat/avformat.h> #include <libavcodec/avcodec.h> #include <stdio.h> } int main() { long cnt = 0, size=0; // 初始化FFmpeg库 //av_register_all(); // 打开输入文件 AVFormatContext* formatContext = nullptr; // std::string inputFilename = "input.mp4"; std::string inputFilename = "../video-0924-bad.h264"; if (avformat_open_input(&formatContext, inputFilename.c_str(), nullptr, nullptr) != 0) { std::cerr << "无法打开输入文件" << std::endl; return -1; } // 获取音视频流信息 if (avformat_find_stream_info(formatContext, nullptr) < 0) { std::cerr << "无法获取流信息" << std::endl; return -1; } // 查找第一个视频流索引 int videoStreamIndex = -1; for (unsigned int i = 0; i < formatContext->nb_streams; i++) { if (formatContext->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { videoStreamIndex = i; break; } } if (videoStreamIndex == -1) { std::cerr << "未找到视频流" << std::endl; return -1; } // 获取视频解码器上下文指针 AVCodecParameters* codecParameters = formatContext->streams[videoStreamIndex]->codecpar; // AVCodec* codec = avcodec_find_decoder(codecParameters->codec_id); const AVCodec* codec = avcodec_find_decoder_by_name("h264_rkmpp"); if (!codec) { std::cerr << "未找到解码器" << std::endl; return -1; } AVCodecContext* codecContext = avcodec_alloc_context3(codec); if (!codecContext) { std::cerr << "无法分配解码器上下文" << std::endl; return -1; } // 设置解码器上下文参数 if (avcodec_parameters_to_context(codecContext, codecParameters) < 0) { std::cerr << "无法设置解码器上下文参数" << std::endl; return -1; } // 打开解码器 if (avcodec_open2(codecContext, codec, nullptr) < 0) { std::cerr << "无法打开解码器" << std::endl; return -1; } // 分配AVPacket和AVFrame内存 AVPacket* packet = av_packet_alloc(); AVFrame* frame = av_frame_alloc(); // 循环读取数据包并进行解码 while (av_read_frame(formatContext, packet) >= 0) { // 判断数据包是否属于视频流 if (packet->stream_index == videoStreamIndex) { size += packet->size; cnt++; printf("cnt:%d, %02x %02x %02x %02x,%02x\n", cnt, packet->data[0], packet->data[1], packet->data[2], packet->data[3], packet->data[4]); // 发送数据包到解码器进行解码 int sendResult = avcodec_send_packet(codecContext, packet); if (sendResult != 0) { std::cerr << "发送数据包到解码器时出错：" << sendResult << std::endl; break;
} // 接收从解码器返回的帧数据 int receiveResult = avcodec_receive_frame(codecContext, frame); if (receiveResult == AVERROR(EAGAIN)) { // 需要更多数据 std::cerr << "EAGAIN" << std::endl; continue; } else if (receiveResult == AVERROR_EOF) { // 解码完成 break; } else if (receiveResult < 0) { // 解码出错 std::cerr << "从解码器接收帧时出错：" << receiveResult << std::endl; break; } // 在这里可以对解码后的帧数据进行处理，如渲染、保存等 printf("decoding OK,Y:%d, U:%d, V:%d, w:%d, h:%d, f:%d.\n", frame->linesize[0], frame->linesize[1], frame->linesize[2], frame->width, frame->height, frame->format); }

    av_packet_unref(packet);  // 释放数据包引用计数
}
// 释放资源
av_packet_free(&packet);
av_frame_free(&frame);
avcodec_free_context(&codecContext);
avformat_close_input(&formatContext);
printf("file size:%ld\n", size);
return 0;

}

[tongjiang]

默认 develop 分支对 ffmpeg 没有支持，要用 ffmpeg 的话试下这个 https://github.com/nyanmisaka/ffmpeg-rockchip 是整合得比较好的仓库

这个仓库与ffmpeg仓库使能rkmpp的话都需要使能GPLv3，那商业项目就无法使用了啊？为什么会这么设置？ @HermanChen

[CETC-AIoT]

@HermanChen 第一帧也没有PPS和SPS的数据 @tongjiang 使用mpp直接解码，失败的概率比较高，用ffmpeg-rockchip同样也可能会失败，但是成功的概率会高一点

[HermanChen]

默认 develop 分支对 ffmpeg 没有支持，要用 ffmpeg 的话试下这个 https://github.com/nyanmisaka/ffmpeg-rockchip 是整合得比较好的仓库

这个仓库与ffmpeg仓库使能rkmpp的话都需要使能GPLv3，那商业项目就无法使用了啊？为什么会这么设置？ @HermanChen

GPLv3 会传染，mpp 是较弱的 apache，要用的话，可以看怎么做下隔离？

[HermanChen]

RK 官方没有去支持 ffmpeg，旧的补丁我们目前暂时也没有维护了，需要看其他的开发者