副标题#e#
中关村在线消息:5月14日,联发科技在北京召开了“真AI相机 还原真实世界”媒体技术沟通会,联发科技无线通信事业部营销处处长李俊男先生、联发科技多媒体研发部开发处副处长陈颖睿先生出席,向在座媒体朋友系统展示了基于Helio P90处理器的“真AI相机”原理,并演示实际应用场景。
联发科技无线通信事业部营销处处长李俊男先生
联发科技多媒体研发部开发处副处长陈颖睿先生
“真AI相机”——苏黎世AI跑分第一的“拍摄新物种”
“真AI相机”,又称AI Camera,是联发科技基于Helio P90处理器开发的一系列技术的综合,包括独立的AI专核APU、ISP以及联发科技自研的 AI影像算法,其原理则是深度的机器学习。
“真AI相机”在功耗控制、发热控制和频宽控制方面均有较高的要求,同时还需要保证有效的AI算力。在整个“真AI相机”的体系中,APU负责人脸侦测、ROI视频编码、AI深度图、高分辨率降噪等等重要需求,而一些客制化的需求则可以通过ISP来完成。
陈颖睿先生表示,不同的芯片侧重方面不同。在拍摄过程中,CPU负责常规运算,APU加速深度学习,做完处理结果,再送到ISP做进一步处理,既保证效率,还能减少功耗。
而在算法层面,联发科技可以对不同的品牌、硬件和架构进行有效的整合。目前“真AI相机”的算法都是联发科技基于AI专核APU自研的,也作为一个平台对其他品牌进行开放。与此同时,Helio P90的ISP具有较大的弹性,支持手机厂商进行个性化的定制。
Helio P90高居苏黎世AI跑分榜首
Helio P90的“真AI相机”具有极强的AI算力,其AI跑分目前在世界权威的AI跑分平台“苏黎世”上力压群雄,坐稳了榜首交椅。李俊男先生表示:苏黎世AI跑分是在业界比较有代表性的跑分,是一个很均衡的程序,让你可以感受手机上表现的能力。这个跑分有意义,因为它是真实跑出来的。这个成绩证明了联发科技最初的策略选择是完全正确的。
随手拍摄,“真AI相机”可优化绝大多数拍摄情境
陈颖睿先生表示,“真AI相机”主打还原真实的视觉体验,力求相机可以还原人眼的视觉效果,不仅要与主流的手机拍摄解决方案一决高下,遇见在硬件上颇有优势的数码单反相机同样不怂。与此同时,为了方便用户使用,“真AI相机”目前主打随手拍,比较针对用户普遍常用的自动拍照模式,而不是专业调教的特殊拍摄模式。
Imagiq技术演进过程
陈颖睿先生表示,单反与手机在感光面积和光电转换性价比上存在巨大的差异,其差别集中体现在手机需要进行更加有力的杂讯处理(噪点处理)。针对此需求,联发科技开发的Imagiq从Helio X20到Helio P90一直在持续改进算法,从纯手工打造,到过程当中引入CV技术/人脸侦测/双目深度计算,再到APU带来的进一步突破,Imagiq可谓“野蛮生长”。
通过多帧降噪进行杂讯抑制
对比增强
动态范围改善
为了使得照片视觉效果更接近人眼,Imagiq引入了多帧降噪消除杂讯,并通过对比增强、提升动态范围和高亮低亮兼顾能手段优化成像效果。这点在咖啡厅、星巴克这样的室内偏暗环境尤其实用。
“真AI相机”对ISP和APU进行了完美整合,让超越单反成为可能。其照片优化过程大致分为侦测、低分辨率影像处理和全分辨率影像处理三个过程。
在侦测环节,“真AI相机”能够准确抓到人脸,然后去引导3A的动作,即使在逆光环境下也能准确捕捉人脸。甚至可以捕捉侧脸,判断脸部方向和识别人物性别。
#p#副标题#e#
针对视频通话、直播等视频应用场景,联发科技在侦测环节加入了ROI Encorder,可在视频通话时把有限的比特率和带宽放在画面重要的部分,能够减少马赛克、识别物体,提升区域画质,是APU与ISP有效结合的典型。
在低分辨率影像处理环节,“真AI相机”能够有效模拟深度分布情况,进而给出最符合人眼景深分布规律的视觉效果。“刀割般锐利,奶油般化开”一样不少。
夜景外景与夜景人像上,“真AI相机”完胜
而从低分辨率图像处理过渡到全分辨率图像处理则是最具挑战性的,其中最难得场景莫过于拍摄夜景和移动场景,对杂讯(噪点)控制、边缘和细节优化、背景优化等都有较高的要求。然而,联发科技将这几大难点一一攻克,甚至在夜景人像方面同样表现突出。
写在最后:
综上所述,“真AI相机”可以征服目前的绝大多数拍摄情境,至于现阶段兴起的长焦拍摄与全场景构图,联发科技在未来也不排除进行相应的布局。事实证明,这一AI拍摄新物种,将硬件级AI算力发挥到了极致,其拍摄能力一但应用在终端设备上,势必会演化出更具特色的拍摄能力体系,而随手拍、还原真实的初衷也十分值得肯定。
相信在今年的“新机发布潮”中,搭载Helio P90的终端设备势必会面世开售并对主流的手机市场产生较大的影响,进而使得联发科技的技术与美学理念得到进一步的发扬。这无疑非常值得期待。