В документации
https://libav.org/documentation/doxygen/master/group__lavu__picture.html#func-members
имеется описание

int 	av_image_get_buffer_size (enum AVPixelFormat pix_fmt, int width, int height, int align)
 	Return the size in bytes of the amount of data required to store an image with the given parameters. 

И в репозитории http://git.libav.org/libav.git в ветке master даже есть добавляющий это коммит:

commit e2ad0b66fa273c5c823978e8f601f2c0d9ee42f8
Author: Stefano Sabatini <stefasab@gmail.com>
Date:   Wed Dec 10 12:20:49 2014 +0000

    imgutils: create misc functions for dealing with buffers

    Move the lavc/imgconvert functions and rename them as follows:
      avpicture_get_size -> av_image_get_buffer_size()
      avpicture_fill     -> av_image_fill_arrays()
      avpicture_layout   -> av_image_copy_to_buffer()


Но ни в один из релизов он не вошёл.