[功能请求] 音频流和视频流同步

[suzhelan]

场景 :
如果我有一个videoUrl和一个audioUrl,想要同时播放是非常困难的
我尝试了主动监听进度和控制audioUrl跟踪videoUrl的进度,但是因为底层原因跟踪效果非常差

因此需要一个能合并音频流和视频流同步播放的功能 , 我注意到ExoPlayer可能是天然支持音视频同步的,或许可以接入一下?

[Him188]

不确定其他平台 (iOS) 是否支持, 这个可以通过获取 https://github.com/open-ani/mediamp?tab=readme-ov-file#obtaining-the-platform-player 获取到 ExoPlayer 然后自行实现吗

[suzhelan]

不确定其他平台（iOS）是否支持，这个可以通过获取https://github.com/open-ani/mediamp?tab=readme-ov-file#obtaining-the-platform-player获取到ExoPlayer然后自行实现吗

我通过如下代码实现了Android平台的音视频流同步

@UnstableApi
@SuppressLint("StaticFieldLeak")
object AndroidPlayerParam {

    private lateinit var context: Context

    private val httpDataSourceFactory  = DefaultHttpDataSource.Factory().apply {
        // 全局通用请求头
        setDefaultRequestProperties(PlayerSyncController.headers)
    }

    // 在应用启动时初始化（自定义 Application 类中）
    fun init(appContext: Context) {
        context = appContext.applicationContext ?: appContext
    }

    @OptIn(UnstableApi::class)
    fun buildMediaSource(url: String): MediaSource {
        return ProgressiveMediaSource.Factory(
            DefaultDataSource.Factory(context, httpDataSourceFactory),
            DefaultExtractorsFactory()
        ).createMediaSource(MediaItem.fromUri(url))
    }

}

@OptIn(UnstableApi::class)
actual fun doLoadMediaData(
    mediampPlayer: MediampPlayer,
    videoUrl: String,
    audioUrl: String
) {
    val exoPlayer = mediampPlayer.impl as ExoPlayer
    val videoSource = AndroidPlayerParam.buildMediaSource(videoUrl)
    val audioSource = AndroidPlayerParam.buildMediaSource(audioUrl)
    exoPlayer.setMediaSource(MergingMediaSource(videoSource, audioSource))
    exoPlayer.prepare()
}

仍然需要考虑其他平台如何完成音视频流合并

[SOCK-MAGIC]

我或许找到了解决方法
vlc.exe video1.mkv --input-slave=video1.mkv#video2.mkv#video3.mkv

Input slave (experimental)
This allows you to play from several inputs at the same time. This
feature is experimental, not all formats are supported. Use a '#'
separated list of inputs.

vlc命令行
从 3.0.0 开始，无法使用 --input-slave 同步播放多个视频
如何同时播放无声视频并添加音频文件？
VLC 向视频添加额外的媒体文件

[suzhelan]

我也许找到了解决方法 vlc.exe video1.mkv --input-slave=video1.mkv#video2.mkv#video3.mkv

输入从属（实验性）
此功能允许您同时从多个输入播放。此
功能尚处于实验阶段，并非所有格式都受支持。请使用“#”
分隔的输入列表。

vlc命令行 从3.0.0开始，无法使用--input-slave同步播放多个视频 如何同时播放无声视频并添加音频文件？ VLC向视频添加额外的媒体文件

感谢你的帮助 我发现使用下面的代码可以完成desktop的音视频流合并，前提依赖的vlcj版本在4.8.x，如果过高 那么不会渲染画面但会播放音频

        val vlcPlayer = mediampPlayer.impl as EmbeddedMediaPlayer
        vlcPlayer.media().play(
            videoUrl,
            //播放参数
            *buildList {
                //音频流合并
                add("input-slave=$audioUrl")
                //请求头
                add("http-user-agent=${PlayerSyncController.headers["User-Agent"]}")
                add("http-referrer=${PlayerSyncController.headers["Referer"]}")
            }.toTypedArray()
        )