手机传感器小，景深大，不用怎么对焦？手机都是电子快门所以连拍很快速？
我们对手机的对焦和追焦还有连拍技术似乎总是存在一些误区，这次用小米12Pro发布会上宣传的万物追焦和疾速影像为引子，聊聊抓拍技术在手机上的体验和发展。
疾速影像连拍体验如何？
这里用实际的拍摄体验，先解释一下大家关于手机连拍常有的误区。我在一些运动的场合比如滑板和打篮球的时候带着手机抓拍，操作上，使用运行完整算法的单次点击拍摄，而不是按住快门让相机进入burst连拍模式（拍摄出来的图片质量比较低）。有人说动态照片一类的功能也可以抓拍，拍完之后再进入相册选择照片，但是动态照片除了按下快门时的那张照片，相册当中回放的是基于视频的图象进行强化的低画质图象。
以往在使用别的手机时，经常出现后台运算或者内存不够所导致的快门键禁止使用，当我们想要连续抓拍的时候手机还不会像相机那样显示能缓存的剩余连拍张数。
但使用小米12Pro的时候，可以很放心按照自己想要抓拍的速率进行连拍，在光线不昏暗的情况下。这样的快门响应我是第一次在手机当中见到。
虽然还做不到一些相机那样连拍的时候不黑屏（这是因为计算摄影需要连续拍摄多张进行合成，在快门前后都有额外的图象参与最后成像），但是这个流畅感，已经能做到在我们日常的运动场景，或者是拍小孩的时候准确连续抓拍。
万物追焦的体验如何?
万物追焦+疾速影像=良好的抓拍体验
作为一个没有狗也没有娃的人，我只能默默上街寻找拍摄物。这两个功能点加在一起能保证抓拍的顺利。很多人觉得追焦没有什么用，因为在手机上景深不是很浅，手机大部分摄像头是广角，一般对焦只需要操心三米以内的物体，而三米以外对手机来说基本都是无限远不用对焦（主摄来说）。
但是这种想法忽略了很重要的一点，我们需要手机智能的识别运动的物体和判断运动物体的距离和状态，让手机相机的曝光和算法策略都切换到适合的抓拍模式，这就需要追焦进行准确主体判断。
另外，通过观察可以看到，小米手机的超分辨率算法和其他图象增强算法也在抓拍宠物的时候发挥了作用，使得宠物的面部和毛发的细节都非常优秀。在抓拍的时候，我们常常使用较长的焦段，大部分拍摄我使用小米12Pro上面的两倍变焦，所获得的追焦和连拍体验都和主摄一致。
对焦问题看似简单实际困难，手机对焦技术如何发展？
对焦难题的典范转移，小米12Pro如何做到万物追焦？
对焦速度问题在手机拍照上的解决的很快，远比相机领域要来的快。这主要是因为手机的对焦行程相比于相机来说短的多，相对广角的焦距以及较小的传感器让手机在非长焦的情况下一般不用担心三米以外的对焦问题。
但是现在，对焦的主要矛盾并不在于是否能快速对上焦。而在于自动对焦系统要提前预测拍摄者的意图进行合焦。同时要正确判断需要对焦的区域。很多时候我们想拍摄的兴趣点是画面当中的人或者动物或者移动着的物体。这些物体出现的逻辑和传统的简单粗暴的对焦逻辑是不相同的: 传统的对焦逻辑总是去对准离画面近的，位于中心的物体。这个简单的逻辑大部分时候能够帮助手机在测试当中取得高分，但是实际使用的时候这样的对焦却不够智能。
这次小米12Pro来源cyber dog的拍照技术则融合了AI图像识别的物体追踪，把物体对焦，运动对焦和人眼追焦这些特性综合起来去拉升对焦体验，做到了万物追焦。
而在最新的方法里面，算法通过10帧左右的短序列对背景进行建模，在模型中对图象分块，然后在不同的帧之间比对这些块，验证其为背景。运动的区域出现以后会被单独拎出来，交由神经网络进行人物和动物的分类。然后在帧间进行交叉验证，确认运动的人物或者动物的范围，这样就可以框选和追踪我们的运动画面主体。小米12Pro就是运用了类似的方法进行了追焦。
手机上的快速连拍是如何实现的？
快速连拍对于相机的性能要求是很苛刻的，而在手机计算摄影当中这个话题变得更加复杂。计算摄影需要多帧长时间处理，本身生成一张图象的时间就会超过图片信息当中的曝光时间，加上还要处理和存储，总时间会非常长。很多手机还把后台显示的优先级放低，有时我们在拍照界面还在拍照，但是进入相册的时候却迟迟不能看到照片。
很多人会说算力不够，但是算力和图像质量是一个互相交替上升的过程，提升的算力会被厂商拿去对图象进行更复杂和效果更好的运算，所以要把快速连拍做好，需要厂商对相机画质和功能有着非常明确的规划和管理能力。
小米这次展示的是真正完整画质的快速连拍体验，在拍摄时候我是连续单次点按快门获得照片的，同时进去相册观察图像的时候每张清晰度和动态范围都保持在相同水平。
因为现在手机的计算摄影复杂性已经可以和厂商自己的系统复杂程度差不多了，所以对于拍照时间和体验的管理，需要在不妥协画质的情况下，对整个拍照研发过程进行系统的工程管理。大部分安卓厂商都还在牺牲拍照时间来换取更好的效果，小米终于在12Pro这一代产品决定提升连拍的性能和体验。
————————————————————————————————
引用：
Ho C J J, Chen H H. On the distinction between phase images and two-view light field for PDAF of mobile imaging[J]. Electronic Imaging, 2020, 2020(14): 390-1-390-6.
Chan C C, Chen H H. Autofocus by deep reinforcement learning[J]. electronic imaging, 2019, 2019(4): 577-1-577-6.
Yousif H, Yuan J, Kays R, et al. Object detection from dynamic scene using joint background modeling and fast deep learning classification[J]. Journal of Visual Communication and Image Representation, 2018, 55: 802-815.
Chandrasekaran V, Sanghavi S, Parrilo P A, et al. Sparse and low-rank matrix decompositions[J]. IFAC Proceedings Volumes, 2009, 42(10): 1493-1498.