Řešil jsem to přes VLC, jen náznakem:
setup ch1 output #mosaic-bridge{id=ch1,width=620,height=340}
...
...
setup bg output #transcode{vcodec=mp4v,fps=25,acodec=none,sfilter=mosaic{width=1920,height=1080,cols=3,rows=3,borderw=2,borderh=2,order="ch1,ch2,ch3,ch4,ch5,ch6",keep-picture=1}}...