<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:70.85pt 70.85pt 70.85pt 70.85pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=FR link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>Hello,<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span lang=EN-US>I'm using ffmpeg 2.7.2 on android to play rtsp streams. It's working pretty <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>well until i hit big resolution (1920*1080 and over).<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>I have identified sws_scale as the bottleneck. On a samsung tablet<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>with a 2500*1600 display it take more than 100ms to convert YUV to RGB <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>causing huge latency in the video stream.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>This is how i do it : <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>//get the scaling context<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>sws_ctx = sws_getContext (<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> codecCtx->width,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> codecCtx->height,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> codecCtx->pix_fmt,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> pWidth,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> pHeight,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> AV_PIX_FMT_RGBA,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> SWS_FAST_BILINEAR,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> NULL,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> NULL,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> NULL<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>);<o:p></o:p></span></i></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>and then : <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>avcodec_decode_video2(codecCtx, decodedFrame, &frameFinished,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>&packet);<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>// Did we get a video frame?<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>if(frameFinished) {<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> // Convert the image from its native format to RGBA<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> sws_scale<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> (<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> sws_ctx,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> (uint8_t const * const *)decodedFrame->data,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> decodedFrame->linesize,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> 0,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> codecCtx->height,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> frameRGBA->data,<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> frameRGBA->linesize<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> );<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> <o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> //Render image<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>}<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'><o:p> </o:p></span></i></p><p class=MsoNormal><span lang=EN-US>Is there a way to speed up this conversion ? It doesn't seems to be hardware accelerated<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>Don't know if it can be relevant (newbie with ffmpeg) but this is how i compiled ffmpeg for arm. <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>I'm hoping for a magical flag which i may have forgotten :P : <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'>configure \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --prefix=$2 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-shared \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-static \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-doc \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-ffmpeg \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-ffplay \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-ffprobe \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-ffserver \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-avdevice \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-doc \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-encoders \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-filters \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --disable-decoders \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-network\<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-protocol=tcp\<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-demuxer=rtsp\<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-symver \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-decoder=h264 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-decoder=mpeg4 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-decoder=mjpeg \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-parser=h264 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-runtime-cpudetect \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --cross-prefix=$3 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --target-os=linux \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-pic \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --arch=arm \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --enable-cross-compile \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --sysroot=$5 \<o:p></o:p></span></i></p><p class=MsoNormal><i><span lang=EN-US style='font-family:"Courier New"'> --extra-cflags="-Os -march=armv7-a -mfloat-abi=softfp" \<o:p></o:p></span></i></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>Thanks for your help<o:p></o:p></span></p></div></body></html>