今年秋季密集的手機(jī)發(fā)布會(huì)告一段落，恐怕局外人也看出了手機(jī)的影像實(shí)力已成為手機(jī)行業(yè)“內(nèi)卷”的焦點(diǎn)。連一向在手機(jī)影像功能上宣傳較少的蘋果，也在iPhone 13背面植入兩顆超大攝像頭，并稱新款iPhone “是我們迄今最具創(chuàng)新的攝像更新?！?nbsp;
不管是外部環(huán)境的變化還是手機(jī)內(nèi)部硬件的要求，都驅(qū)使著手機(jī)廠商們鐘情于升級(jí)手機(jī)的影像實(shí)力。
在外部需求端上，據(jù)統(tǒng)計(jì)，手機(jī)拍攝功能已成為中國消費(fèi)者最關(guān)注的手機(jī)要素，而以Instagram、小紅書為首的線上圖片社交平臺(tái)的火爆，則帶動(dòng)了更多人加入隨時(shí)隨地拍照的行列，這都對(duì)手機(jī)的影像功能提出了更高的要求。
在手機(jī)的內(nèi)部硬件端上，手機(jī)的處理器和屏幕幾乎都被高通和三星包攬，唯一能動(dòng)刀的手機(jī)的鏡頭模組也因物理尺寸的限制，難以在有限的手機(jī)可利用空間內(nèi)展開身手。
當(dāng)手機(jī)硬件堆料受上述各原因限制，給手機(jī)影像能力帶來的提升越來越小時(shí)，各廠商要突破硬件限制，做出成像的差異化，計(jì)算攝影 (computational photography) 成為其競(jìng)爭(zhēng)的焦點(diǎn)：通過AI優(yōu)化影像算法，讓用戶輕松獲得一張質(zhì)量不錯(cuò)的照片。
如今，強(qiáng)大的手機(jī)拍照技術(shù)既離不開性能優(yōu)異的硬件，也離不開迅猛發(fā)展的圖像處理算法，在硬件短時(shí)間難以打出差異化的現(xiàn)實(shí)條件下，從谷歌Pixel開始，押注AI算法助力手機(jī)影像能力的提升基本上已經(jīng)成為了手機(jī)行業(yè)的常態(tài)。因此，在計(jì)算攝影市場(chǎng)規(guī)模不斷擴(kuò)大的同時(shí)，計(jì)算攝影的算法水平也越來越重要，競(jìng)爭(zhēng)越來越激烈。
計(jì)算攝影，簡(jiǎn)而言之就是使得手機(jī)生成的照片不再僅僅依賴圖像傳感器和拍照者的專業(yè)攝影知識(shí)，而是將手機(jī)硬件與軟件相結(jié)合，讓AI算法以及處理器算力加入到手機(jī)攝影中來。基于這樣的理念，人工智能企業(yè)曠視提出了“AI重新定義光感知系統(tǒng)”。
以往的“光+感+知”系統(tǒng)獨(dú)立優(yōu)化，先聚焦在硬件升級(jí)，然后再以算法輔助、優(yōu)化后期處理等運(yùn)作方式相對(duì)流程化，如今，“光 x 感 x 知”光感知系統(tǒng)協(xié)同配合，軟硬協(xié)同升級(jí)，實(shí)現(xiàn)光感知系統(tǒng)全流程的能力提升。這意味著整個(gè)手機(jī)影像系統(tǒng)數(shù)據(jù)處理規(guī)模以及資源調(diào)度能力增強(qiáng)，能支持更廣泛的應(yīng)用場(chǎng)景。
目前，曠視已為多款主流安卓智能手機(jī)提供一系列計(jì)算攝影解決方案，其中，包括超畫質(zhì)、降噪和圖像增強(qiáng)等在內(nèi)的技術(shù)，已在當(dāng)今的智能手機(jī)中廣泛應(yīng)用。
超畫質(zhì)是一個(gè)很大的概念，不僅包括景物原有的細(xì)節(jié)紋理還原，還有著提高畫面亮度、對(duì)比度以及色彩、層次感等功能，簡(jiǎn)單來說，就是讓手機(jī)最后生成出來的圖片更“完美”。如果要從硬件上達(dá)到這一標(biāo)準(zhǔn)，鏡頭和感光元器件都需要足夠的尺寸，這對(duì)不少專業(yè)單反相機(jī)來說都是難以完成的目標(biāo)。
曠視則通過AI來對(duì)高畫質(zhì)數(shù)碼相機(jī)的成像特性進(jìn)行學(xué)習(xí)，還原拍攝場(chǎng)景原有的細(xì)節(jié)紋理，使畫面品質(zhì)得到整體提升。
降噪一直是攝影圈的一個(gè)難點(diǎn)，對(duì)單反攝影愛好者來說，想要拍攝一張?jiān)朦c(diǎn)少、成像好的照片需要在單反感光度、曝光時(shí)間上尋找一個(gè)平衡，這也通常會(huì)導(dǎo)致在光線條件不足的情況下一些轉(zhuǎn)瞬即逝的瞬間難以被抓住。
為解決噪點(diǎn)的問題，傳統(tǒng)的解決方案是，分別拍一張長曝光圖片和短曝光圖片，然后在后期軟件上進(jìn)行合成。如今的AI降噪，會(huì)在算法降噪的基礎(chǔ)上，再自動(dòng)拍攝數(shù)張長短曝光的照片進(jìn)行合成，快速生成圖片，免去了人工在后期軟件上合成的步驟。
AI算法降噪的原理是對(duì)自然光譜進(jìn)行學(xué)習(xí)并總結(jié)特性，對(duì)相機(jī)傳感器所捕捉的信號(hào)進(jìn)行分辨，哪些是噪聲，哪些是成像需要的信號(hào)，最后把需要的部分還原，把噪聲的部分去掉，最大程度地保留細(xì)節(jié)同時(shí)提升信噪比，這樣能讓畫質(zhì)提升的同時(shí)，細(xì)節(jié)也能夠清晰的表現(xiàn)出來。
攝影師通常喜歡用大光圈拍人像，這樣可以虛化背景中雜亂的場(chǎng)景，讓拍攝的主體更加突出。過去，手機(jī)受限于單個(gè)鏡頭中的光圈大小難以拍出自然的虛化效果，即便有算法的幫忙也經(jīng)常被用戶吐槽為“摳圖+粘貼”。
圖像增強(qiáng)技術(shù)不像專業(yè)相機(jī)的光學(xué)景深效果，而是利用手機(jī)雙攝和AI算法來進(jìn)行虛化。隨著手機(jī)多個(gè)攝像頭的出現(xiàn)以及AI算法的進(jìn)步，曠視通過不同攝像頭之間的間距，利用算法計(jì)算出深度圖像，進(jìn)而形成可以媲美專業(yè)相機(jī)大光圈效果的圖像。
歸功于AI算法與手機(jī)硬件系統(tǒng)的協(xié)同進(jìn)化，AI算法在手機(jī)廠商的影像“內(nèi)卷”中扮演的角色也愈加重要。根據(jù)艾瑞咨詢近期發(fā)布的《2020中國人工智能手機(jī)白皮書》數(shù)據(jù)顯示，截至2019年，AI拍攝算法在國內(nèi)不同價(jià)位安卓手機(jī)中覆蓋率達(dá)已經(jīng)到91.6%，在AI+光感知手機(jī)算法領(lǐng)域，以曠視為代表的頭部企業(yè)份額占比接近80%。
人工智能企業(yè)能在手機(jī)影像領(lǐng)域立足，其中一部分原因也是AI算法迎來了手機(jī)多攝像頭的時(shí)代。如今，即使是對(duì)手機(jī)影像功能最不敏感的用戶，也能明顯感覺到手機(jī)背后的攝像頭明顯變多了，主攝、廣角、超廣角、長焦、潛望式、微距、ToF……雙攝已落伍、三個(gè)勉勉強(qiáng)強(qiáng)、四個(gè)、五個(gè)也不嫌多。
手機(jī)廠商們熱衷于增加攝像頭的背后，并不是簡(jiǎn)單的營銷和噱頭，除了近年來多攝技術(shù)的穩(wěn)步發(fā)展，還有一部分原因在于AI算法為手機(jī)多攝提供了跨越式發(fā)展的契機(jī)，AI算法已逐漸成為攝像頭之間聯(lián)動(dòng)的紐帶，在AI的驅(qū)動(dòng)下攝像頭之間的聯(lián)動(dòng)可以形成“1+1大于2”的效果。
具體來說，手機(jī)后置攝像頭數(shù)量和類別的不斷增加，對(duì)AI算法意味著光線、景深、像素等多種可收集類型數(shù)據(jù)傳感器的增多。有些傳感器鏡頭對(duì)色彩更敏感，有些捕捉紋理效果較好，有些則在運(yùn)動(dòng)焦點(diǎn)的追逐中效果最好。在AI算法與多個(gè)攝像頭的協(xié)調(diào)配合下，通過雙攝變焦實(shí)現(xiàn)多種傳感器之間的強(qiáng)強(qiáng)聯(lián)合獲得最佳拍攝效果，如，利用雙攝虛化實(shí)現(xiàn)媲美單反相機(jī)的光圈效果、多攝融合有效提升圖片質(zhì)量等。
多個(gè)攝像頭雖然使得AI算法能收集到的數(shù)據(jù)類型和數(shù)據(jù)信息更加豐富，但同時(shí)也帶來了系列算法和算力的技術(shù)難點(diǎn)，如何在手機(jī)有限的算力以及電量限制的情況下盡可能達(dá)到成像的完美，這對(duì)AI算法本身也提出了不低的要求。
例如，當(dāng)手機(jī)利用不同焦段的鏡頭來實(shí)現(xiàn)數(shù)碼變焦功能時(shí)，多個(gè)攝像頭的切換需要使用到“平滑縮放算法”，該算法的質(zhì)量高低將決定手機(jī)應(yīng)用變焦功能時(shí)各焦段畫面“接縫”的順滑程度，越好的算法將使得這種過渡更加自然。
基于多年的技術(shù)積累和項(xiàng)目工程落地經(jīng)驗(yàn)，曠視的雙攝虛化、多攝平滑變焦、多攝融合等算法均具有很強(qiáng)的泛用性，可適配多種模組組合和排布方式。以多攝融合為例，曠視的多攝融合算法采用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)模型，可有效解決清晰度不均勻、主體邊緣線條彎曲、部分位置重影、線條斷裂錯(cuò)位、重復(fù)紋理錯(cuò)位等傳統(tǒng)多攝融合算法中的常見問題。
AI算法在手機(jī)影像中扮演的角色日益重要，并不意味著AI算法在未來將取代硬件，而是AI與硬件的協(xié)同互動(dòng)。曠視研究院研究員范浩強(qiáng)在近日的曠視MegTech Lite漫談AI技術(shù)分享會(huì)上表示：“手機(jī)的整體影像能力提升不是僅依靠鏡頭多和像素高就可以實(shí)現(xiàn)，最重要還是成像系統(tǒng)各個(gè)要素間的協(xié)同?！?nbsp;
手機(jī)的成像過程本質(zhì)是“光電算”一體化的過程，即從光學(xué)感知到電子信號(hào)傳遞最后還原成圖像的過程。AI算法在其中扮演的角色不僅僅是在最后一步進(jìn)行優(yōu)化，而是在一開始時(shí)就加入到光和電的協(xié)同配合中來。
用戶是拍攝風(fēng)景還是人像，是拍攝星空還是運(yùn)動(dòng)中的細(xì)節(jié)，AI會(huì)在一開始便判斷需要調(diào)動(dòng)的不同鏡頭組合，來實(shí)現(xiàn)用戶想要的拍攝效果。例如，當(dāng)用戶選擇風(fēng)光模式時(shí)，AI算法便已將主攝像頭和廣角攝像頭調(diào)動(dòng)起來；當(dāng)用戶選擇人像模式時(shí)，AI算法便會(huì)調(diào)動(dòng)主攝像頭和人物細(xì)節(jié)解析力更好的黑白攝像頭結(jié)合起來，在雙攝像頭模擬大光圈效果的同時(shí)獲得更優(yōu)的人像表現(xiàn)能力。
未來的手機(jī)拍攝，將會(huì)向著利用AI技術(shù)，理解用戶意圖，利用算法自動(dòng)調(diào)配攝像頭，完美捕捉到用戶想要拍攝的畫面，從“所見即所得”到“所想即所得”，生成出傳統(tǒng)專業(yè)相機(jī)無法拍攝出來的圖片效果。
當(dāng)然，除了AI算法之外，更美好的影像世界的實(shí)現(xiàn)也依賴于未來更多新形態(tài)傳感器的發(fā)明。如今，AI計(jì)算攝影不僅在推動(dòng)更多傳感器解決方案的出現(xiàn)，也在硬件之外開啟了手機(jī)影像的“下半場(chǎng)”。
本文來自微信公眾號(hào) “品玩”（ID：pinwancool），作者：洪雨晗，36氪經(jīng)授權(quán)發(fā)布。
