音视频

[ShannonChenCHN]

• 视频
  • 视频格式
  • 视频编码解码
  • 视频文件播放
  • 在线视频播放
  • 视频编辑
• 音频
  • 音频格式
  • 音频文件播放
  • 在线音频播放
  • 录音
  • 语音识别
  • 音频处理
• 其他
  • 耳机线路
  • 中断处理

[ShannonChenCHN]

参考：

• iOS微信小视频优化心得⭐️
• (强烈推荐)移动端音视频从零到上手⭐️
• 移动开发者的必知音视频基础知识⭐️
• iOS仿微信小视频功能开发优化记录
• 仿微博视频边下边播之滑动TableView自动播放
• 浅谈iOS视频播放的N种解决方案
• objc.io - 视频工具箱和硬件加速
• objc.io - Core Image 和视频
• 浅谈iOS视频开发
• IOS 微信聊天发送小视频的秘密(AVAssetReader+AVAssetReaderTrackOutput播放视频)
• iOS视频播放器之ZFPlayer剖析
• iOS开发系列--音频播放、录音、视频播放、拍照、视频录制
• AVPlayer 本地、网络视频播放相关

---

• Controlling audio output on iOS with AVAudioSession
• 细数AVPlayer的那些坑

[ShannonChenCHN]

AVPlayer 相关

1. 如何停止播放？

AVPlayer 没有 stop 方法，我们可以调用 pause 方法，或者设置 rate 为 0。
如果需要回到起点，可以设置进度并暂停：

[self.videoPlayer seekToTime:CMTimeMake(0, 1)];
[self.videoPlayer pause];

参考：

• How to stop a video in AVPlayer?

2. 针对下载再播的小视频，如何实现视频的下载和缓存逻辑？

可以参考 SDWebImage 的实现，不同的地方在于，这里没有内存缓存，因为 AVPlayer 是直接从磁盘上加载文件的，如果要做优化的话，可以将每个 URL 对应的 AVURLAsset 对象缓存起来：

• 先从读取缓存，如果缓存存在，则根据缓存路径播放视频
• 如果没有缓存，就使用 NSURLSession 进行下载，下载结束后保存到缓存目录，保存完成后，再根据缓存路径播放视频

3. 如果要实现一个边下边播的播放器？该如何实现？

参考：

• newyjp/JPVideoPlayer：其下载和播放逻辑基本上与 SDWebImage 相同，只不过多了 resourceLoader 这一个中间环节
• 仿微博视频边下边播之滑动TableView自动播放
• suifengqjn/TBPlayer：视频边下边播播，把播放器播放过的数据流缓存到本地，支持拖动。采用的播放器是 AVPlayer
• iOS视频边下边播--缓存播放数据流：使用 resourceLoader 来请求数据
• ChangbaDevs/KTVHTTPCache：解决音视频在线播放的缓存问题

4. 当使用 AVPlayer 播放视频被来电铃声、闹钟铃声打断时，如何恢复播放？

iOS 6以后，可以通过处理 AVAudioSessionInterruptionNotification 和 AVAudioSessionMediaServicesWereResetNotification 这两个通知来实现监控。

首先，设置 AVAudioSession ：

AVAudioSession *aSession = [AVAudioSession sharedInstance];
[aSession setCategory:AVAudioSessionCategoryPlayback
          withOptions:AVAudioSessionCategoryOptionAllowBluetooth 
                error:&error];
[aSession setMode:AVAudioSessionModeDefault error:&error];
[aSession setActive: YES error: &error];

然后，注册通知：

[[NSNotificationCenter defaultCenter] addObserver:self
                                         selector:@selector(handleAudioSessionInterruption:)
                                             name:AVAudioSessionInterruptionNotification
                                           object:aSession];

[[NSNotificationCenter defaultCenter] addObserver:self
                                         selector:@selector(handleMediaServicesReset)
                                             name:AVAudioSessionMediaServicesWereResetNotification
                                           object:aSession];

最后，处理终端通知：

- (void)handleAudioSessionInterruption:(NSNotification*)notification {

    NSNumber *interruptionType = [[notification userInfo] objectForKey:AVAudioSessionInterruptionTypeKey];
    NSNumber *interruptionOption = [[notification userInfo] objectForKey:AVAudioSessionInterruptionOptionKey];

    switch (interruptionType.unsignedIntegerValue) {
        case AVAudioSessionInterruptionTypeBegan:{
            // • Audio has stopped, already inactive
            // • Change state of UI, etc., to reflect non-playing state
        } break;
        case AVAudioSessionInterruptionTypeEnded:{
            // • Make session active
            // • Update user interface
            // • AVAudioSessionInterruptionOptionShouldResume option
            if (interruptionOption.unsignedIntegerValue == AVAudioSessionInterruptionOptionShouldResume) {
                // Here you should continue playback.
                [player play];
            }
        } break;
        default:
            break;
    }
}

• AVplayer resuming after incoming call
• Audio Session Programming Guide: Responding to Interruptions

5. 如何实现后台播放 AVPlayer？

• How do I get my AVPlayer to play while app is in background?
• Apple Technical Q&A QA1668: Playing media while in the background using AV Foundation on iOS

6. 针对播放线路（耳机、扬声器）改变的响应

• Audio Session Programming Guide: Responding to Route Changes
• iOS开发 - 耳机状态监控
• How to handle an audio output change on iOS

7. 如何实现播放视频时，不中断其他应用中正在播放的音频？

答：可以通过设置 AVAudioSession 单例的 category 和 option 来实现，代码如下：

// 方式一：AVAudioSessionCategoryPlayback + AVAudioSessionCategoryOptionMixWithOthers
[[AVAudioSession sharedInstance] setCategory:AVAudioSessionCategoryPlayback
                                     withOptions:AVAudioSessionCategoryOptionMixWithOthers
                                           error:nil];

// 方式二：AVAudioSessionCategoryAmbient
[[AVAudioSession sharedInstance] setCategory: AVAudioSessionCategoryAmbient error:nil];

Audio Session 是什么？

系统通过 audio sessions 来管理 app 级、app 间和系统级的音频播放、录制行为。我们可以在 app 中通过使用 audio sessions 来告诉系统，我们需要怎样配置音频服务。

Audio Session 的 category 和 mode、options ？

配置 Audio Session 行为的三个层级，最基本的是 category，在 category 的基础上可以通过设置 mode 和 category 来进行“微调”。

参考：

• iOS音频掌柜-- AVAudioSession
• Audio Session Programming Guide

8. 如何知道 AVPlayer 是否正在播放？

可以通过判断 AVPlayer 的 rate 属性值是否不为 0 来判断：

AVPlayer *player = ...
if ((player.rate != 0) && (player.error == nil)) {
    // player is playing
}

参考：

• Check play state of AVPlayer

[ShannonChenCHN]

如何实现在列表中播放多个视频的同时，保证滚动的流畅性？

我自己是使用 AVPlayer 在列表中显示视频的，发现在一开始加载时会比较卡，在需要展示的 cell 都初始化完后，就明显流畅多了。
profile 工具查看
查了一下资料，有提到

参考：

• rekoj/videoPlay：这个 demo 并没有使用 AVPlayer，而是通过 AVAssetReader 和 AVAssetReaderTrackOutput 来读取图像数据，然后再将 CMSampleBufferRef 转成 CGImageRef，显示到 view 上，运行后滚动起来非常流畅。基本原理就是微信团队之前在公众号中提到的那种方案。
• xquezme/SPAsyncVideoView：使用的也是AVAssetReader 和 AVAssetReaderTrackOutput 来读取视频数据，但是现示图像用的是 AVSampleBufferDisplayLayer，这个 Demo 在模拟器上运行时滚动起来很流畅，但是在我的 iPhone6 真机上会直接导致手机卡死。
• How do Instagram and Vine still have smooth scrolling while autoplaying videos?
• Maintaining good scroll performance when using AVPlayer

[ShannonChenCHN]

iOS 上播放视频的几种方式

[ShannonChenCHN]

如何判断一个视频文件是否可以播放？

方式一：通过监听 AVPlayer 或者 AVPlayerItem 的 status 来判断。值得注意的是，如果你直接在初始化 AVPlayer 之后就同步获取这个值，这个值会是 “unknown”。

        avplayer = AVPlayer(url: url)
        avplayer.addObserver(self, forKeyPath: "status", options: .new, context: nil)
...
...

override func observeValue(forKeyPath keyPath: String?, of object: Any?, change: [NSKeyValueChangeKey : Any]?, context: UnsafeMutableRawPointer?) {
        if (avplayer == object as? AVPlayer) && (keyPath == "status") {
            print((avplayer.status == .readyToPlay) ? "readyToPlay" : "fail")
        }
    }

方式二：直接通过 url 新建一个 AVAsset 对象，再通过 isPlayable 属性判断视频是否可以正常播放。

        let avasset = AVAsset(url: url)
        print(avasset.isPlayable)

结论：

方法一是异步，方法二是同步。方法二比方法一要快了将近一倍。

参考：

• 同步快速判断视频是否可以播放