“从上海中心的合适位置，整个外滩的人流细节都能看得一清二楚。”让复旦大学微电子学院/工程与应用技术研究院教授曾晓洋“夸下海口”的不是望远镜，不是摄像头，而是由其领导的团队自主研发的五亿级像素云相机系统。基于这一系统研发的五亿像素智能视频瞭望相机，亮相2019年中国国际工业博览会。

这一团队由复旦大学微电子学院副教授范益波作为图像、智能与电子系统技术负责人，长春光机所研究员黄玮作为光机系统技术负责人，复旦大学微电子学院副研究员荆明娥作为图像算法技术负责人。

曾晓洋教授与正在组装的五亿像素云相机

目前，先进的单反相机分辨率可达千万像素级别，对图像的刻画已经非常细致。五亿级像素相机拍出照片会是什么样？

人眼能分辨的极限像素是1.2亿，五亿级的超高像素意味着相机能捕获极其细致入微的图像细节，即便在能容纳几万人的偌大体育场，拍摄一副全景照片也可以获得每张人脸的清晰图像。如果加上人工智能的助力，这款相机还能进行海量数据人脸等目标的检测与识别，瞬间发现特定目标。

拍得广，看得清，找得准，这款不一般的“高能”相机，或将刷新人们对传统相机的认知。

    打破定式，不对焦也能看得清  

要使被拍摄物成像清晰，传统相机的聚焦操作是必不可少的关键环节。

“看得清和看得广对传统相机来说是一对矛盾，如两千万像素全部分配到一万个人身上，每个人像就只有20个像素，一定无法看清楚人体目标了。”

曾晓洋说，既想看得清，又想看得远，还要看得广，在现有的相机条件下，根本就是一个悖论。“但如果相机的像素能达到两亿、五亿或者十亿呢？那么即使是十万个人也能拍得清楚了。”

当下，覆盖地域广、涵盖目标多的高像素照片是怎样产出的呢？后期处理是现行的唯一途径：针对目标物体进行多次拍摄，再依靠后期图像处理与拼接技术将这些单幅图像逐一拼接，合“多”为“一”。但这种方法的劣势显而易见，既费时间（几小时到几天时间），也要消耗大量能量。

“比如从高空进行拍摄，现在普遍使用无人机，但无人机的续航时间有限，按照现在的拍摄方式，人们获取超高清晰图像非常困难。”曾晓洋介绍，目前使用的卫星实时导航所依据的路况地图都是靠后期“P”出来的，难度很大，成本极高。

“超远距离拍摄”“超高清细节”“超快速成像”，这三个条件要想同时“成立”，还得从大幅提高相机像素入手。

不对焦也能拍得清楚，五亿级像素云相机系统的出现，从技术层面打破了传统拍照的定式规则，实现了“不可能”。

    硬件升级，芯片创新实现颠覆性改变  

几年前，在军方的资助下，美国研发出世界上第一台亿级像素相机，其运用的“阵列外拼接成像原理”将千万级像素照片进行软件拼接，CMOS图像传感器呈阵列式分布，相互错开、互补排列，最终通过后续软件图像拼接得到完整的大视场超高分辨率视频和图像。但高像素光学镜头的阵列排布大大增加了相机体积。“

顺着这个思路，当像素提升到五亿级时，尤其是需要视频图像时，相机系统体积会变得非常大，并且实时视频拼接基本上不可能实现。”曾晓洋认为，这个方案潜力有限，“走不远”。

    什么才是“有后劲”“能发展”的思路？  

经过长时间的研究，曾晓洋团队实现了一种创新性的亿极像素成像技术。“同样还是拼接成像原理，但我们使用了创新的共心复合尺度的光学成像方案，将阵列式的光学成像镜头大幅缩减为‘一’，采用两级分光成像来进行多路CMOS图像传感器成像。”这样，也对分光系统的精度提出了很高要求，不同光路对目标进行成像，如果精度 “差之毫厘”，拼接后图像则“谬以千里”。

除了超高分辨率的照片，对这款高性能的云相机来说，拍同样分辨率的实时视频也“不在话下”。实时视频对相机的计算速度和运行效率都提出了更高的要求：每次成像都是上百张千万级像素的照片高精度无缝拼接而成，而连续视频应该在每秒25帧画面，这相当于在一秒钟之内把拼接成像过程重复至少25次。显然，这种情况下，相机系统的计算量大到人们难以想象的程度。

■ 范益波副教授在亿级像素显示系统平台前

目前，曾晓洋团队研发的三/五亿像素的云相机系统实现了“共心复合尺度光学成像”和“硬件亿级像素实时视频图像拼接”，十亿级及以上像素的云相机系统关键技术也处于攻关状态。

“平时在APP上追剧，视频分辨率一般是1080P，超级会员能看到4K高清，再高分辨率也看不了了，网络带宽跟不上。而我们云相机的像素分辨率是五亿，这可是4K的百倍。”

“超高的分辨率同时意味着超大的数据量，但目前无线传输系统的数据带宽成为瓶颈问题。解决这一问题的办法就是及时找到超高清图像中的感兴趣目标部分。”曾晓洋说，要把需要传输的数据量降下来，传输效率提上去，就得提高相机系统实时识别目标的能力，针对特定目标智能地进行寻找、锁定和识别。“而这就像在一仓库的粮食里面，有一粒是坏的，我们想把那粒坏的找出来，这太不容易了，所以要有智能化的方法。”将范围缩小，再将特定区域特定目标的相关影像进行传输就容易得多了。“既能远视，也得有准头。”

“世界首款海量数据视频图像硬件拼接专用芯片”、“人工智能处理硬件加速引擎专用芯片”，这两款自主创新的芯片正是曾晓洋团队让五亿级像素云相机系统能拍照、拍视频，能“有准头”的“独门武器”。“功耗降下来、体积小下来全靠芯片技术，把上述两款芯片做出来是实现我们整个系统技术突破的核心。”曾晓洋说，这也是复旦大学承接该项目的主要原因，是我们专用集成电路与系统国家重点实验室的使命所在。

    工业量产，“神奇盒子”大有所为  

将亿级像素相机系统获取到的海量视频图像数据都放在“云端”统一的数据中心，全世界的人们都有机会登陆来获得超高清晰的图像视频数据，这也就是曾晓洋团队“云相机”概念的出发点。

    五亿级像素云相机的出现，将会给人们的生活带来哪些便利？  

曾晓洋介绍，这款相机系统在国防、安防和民用等领域都具有广泛的应用前景。

就大城市安防应用而言，传统的安防监控系统把城市区域分割成了一个又一个的小方块，遍布大街小巷的摄像头对每一个小区域进行实时监控，就是因为一个个“小炮筒”的分散，传统安防监控系统很难对街道、机场、地铁等视域宽阔的公共场所中的车流、人流等进行整体性的评估和预判。

而五亿级像素云相机系统的加入可有效解决这个传统安防监控方案的痛点。“假如在上海中心合适位置布置我们的五亿级像素云相机系统，可以实时掌握整个外滩的大人流分布情况，从而极大助力在特殊时期警力更有针对性的安排，更有效地防范意外事件的发生。”

与此同时，曾晓洋提到，因为“超远距离”“高清成像”的特性，出于保护个人隐私的考虑，超高像素云相机的出现也对相关法律法规的跟进提出了要求。“海量视频图像数据的获取都得有监管，毕竟强有力的安防和个人隐私的保护得有平衡。”

国产自主创新的五亿级像素云相机系统，是复旦大学和中国科学院长春光学精密机械与物理研究所协同创新的最新科研成果，也是两个单位、两个国家重点实验室团队紧密合作的结果。

2017年10月，亿级像素的云相机系统研发成功，获取了超过三亿像素的超高清视频图像。这款相机外形类似和日常使用的投影仪，“盒子”样的“躯干”上探出了一个“镜头”的“脑袋”。

目前，三/五亿级像素云相机已投入工业量产，它们作为五亿级像素相机的“探路者”和“试验田”，率先在各个相关领域发挥作用。

据了解，几年前，国外研发出世界上第一台亿级像素相机，其运用的“阵列外拼接成像原理”将千万级像素照片进行软件拼接，CMOS图像传感器呈阵列式分布，相互错开、互补排列，最终通过后续软件图像拼接得到完整的大视场超高分辨率视频和图像。但高像素光学镜头的阵列排布大大增加了相机体积。“照此思路，当像素提升到五亿级时，相机系统体积会非常大，并且实时视频拼接几乎不可能实现。”曾晓洋说。

经过长期研究，科研团队实现了一种创新性的亿级像素成像技术。同样还是拼接成像原理，但使用共心复合尺度的光学成像方案，将阵列式的光学成像镜头大幅缩减为“一”，采用两级分光成像来进行多路CMOS图像传感器成像。

除了超高分辨率照片，这款高性能云相机还能拍摄同样分辨率的实时视频。实时视频对相机的计算速度和运行效率都提出了更高要求：每次成像都是上百张千万级像素的照片高精度无缝拼接而成，而连续视频应该在每秒25帧画面，相当于在一秒钟内把拼接成像过程重复至少25次。目前，团队研发的三/五亿像素的云相机系统实现了“共心复合尺度光学成像”和“硬件亿级像素实时视频图像拼接”，十亿级及以上像素的云相机系统关键技术也处于攻关状态。

团队科研人员也指出，超高像素云相机因为“超远距离”“高清成像”的特性，也对个人隐私保护提出了高要求。“海量视频图像数据的获取必须得到强有力的监管。”