揭秘華為海思自研越影ISP:五大飛躍、黑夜變白晝
華為海思的麒麟芯片受阻,但在其他領(lǐng)域,華為海思并沒有止步, 最近就推出了全新的越影AI ISP , 用于物聯(lián)網(wǎng)智能終端的新一代智能圖像處理引擎 ,突破了傳統(tǒng)ISP圖像處理的極限,將畫質(zhì)推向新的高度。
ISP是對圖像傳感器輸入的原始數(shù)據(jù)進行圖像處理的首個環(huán)節(jié),涵蓋數(shù)十種圖像信號處理算法。為了適配各種不同的鏡頭和傳感器,需要優(yōu)化調(diào)整成百上千個參數(shù),保證ISP兼?zhèn)渫ㄓ眯院挽`活性。
同時,ISP中眾多模塊的算法是相互影響的,算法協(xié)同需要大量調(diào)試工作,極其復(fù)雜,也極具挑戰(zhàn)。
面對越來越高的場景復(fù)雜度,基于濾波等傳統(tǒng)圖像處理技術(shù)在暗光、寬動態(tài)等場景下,畫質(zhì)獲得顯著改進越來越困難,而且隨著參數(shù)庫逐漸龐大,調(diào)試越發(fā)困難,開發(fā)周期逐步拉長,畫質(zhì)提升的投資收益率也越來越低。
近年來,利用AI進行圖像增強,逐漸成為行業(yè)研究新熱點,并取得了顯著的進展,尤其是利用AI對靜態(tài)照片的優(yōu)化,已經(jīng)廣泛應(yīng)用于高端手機的相機拍照,并獲得了不錯的效果。
上海海思利用在傳統(tǒng)ISP畫質(zhì)技術(shù)上的積累和經(jīng)驗,以及在端側(cè)AI架構(gòu)和優(yōu)化上的優(yōu)勢,打造了新一代智能圖像處理引擎——越影AI ISP,將傳統(tǒng)畫質(zhì)優(yōu)化經(jīng)驗與AI技術(shù)深度融合,相比海思上一代旗艦ISP在五方面實現(xiàn)了飛躍。
【超感光降噪】基于深度學習的智能降噪,信噪比4倍提升
傳統(tǒng)的NR降噪技術(shù)采用多級時域/空域濾波,且濾波器設(shè)計融合了多種異構(gòu)類型,收益已逐漸降低。
海思利用神經(jīng)網(wǎng)絡(luò)深度學習海量低照度場景圖片的噪聲和信號的分布特性,訓練出一套智能降噪的算法模型,越影AI ISP可以智能區(qū)分圖像中的信號和噪聲,實現(xiàn)低照度場景下的智能降噪。
根據(jù)測試,越影相比海思上一代旗艦ISP,在低照場景下的圖像信噪比可提升4倍。
【多光譜融合】采用專用硬件加速,實現(xiàn)0.01Lux低照全彩
低照場景下,RGB傳感器感光能力急劇下降,導致彩色圖像清晰度快速下降,無法同時兼顧圖像細節(jié)與色彩。
在夜晚交通管理場景下,往往需要在閘口加裝爆閃燈來補充照明,容易造成光污染甚至影響駕駛員的行車安全
多光譜融合技術(shù)通過將可見光與紅外光感知信息進行融合,在不增加光污染的同時,解決了低照環(huán)境下由于可見光感光能力不足所造成的細節(jié)損失的問題,實現(xiàn)圖像色彩與細節(jié)的最佳平衡,最終使圖像效果達到0.01Lux暗光全彩,細節(jié)紋理豐富。
【超級寬動態(tài)】自適應(yīng)光線復(fù)雜變化,動態(tài)范圍提升12dB
寬動態(tài)技術(shù)是逆光場景下提升畫質(zhì)的重要技術(shù)。
例如行車進出隧道口時,由于內(nèi)外光強反差巨大,如何快速跟蹤不斷變化的光線,并準確對目標進行自適應(yīng)曝光,是對自動和輔助駕駛安全非常重要的技術(shù)。
超級寬動態(tài)技術(shù)基于智能識別目標場景,對價值區(qū)域進行自適應(yīng)多重曝光,通過智能算法融合不同曝光時間的長幀、中幀、短幀的圖像數(shù)據(jù),使圖像獲得暗、亮區(qū)域的完美融合:亮處不過曝、暗部細節(jié)不丟失,逆光場景所見清晰,暗光區(qū)域色彩飽滿、細節(jié)豐富。
根據(jù)測試,越影相比海思上一代旗艦ISP,在逆光場景下動態(tài)范圍可提升12dB,并且對場景跟蹤更迅速,能夠有效避免圖像畫面瞬間過暗或過曝,在3幀以內(nèi)即收斂至穩(wěn)定狀態(tài)。
【超級穩(wěn)像】6軸數(shù)字防抖,視頻成像穩(wěn)定性大幅提升
消費類攝像機廣泛應(yīng)用于運動場景的拍攝,但在運動中相機的震動會影響最終成像效果。
視覺感知設(shè)備被安裝于自動或輔助駕駛汽車中,這樣的抖動造成的圖像模糊甚至可能影響駕駛安全。
越影的超級穩(wěn)像技術(shù)基于IMU 6軸傳感信息智能分析運動姿態(tài),通過精準補償修正動態(tài)視頻,有效減少由于外部環(huán)境晃動或抖動對視頻成像造成的影響,可大幅提升各種振動環(huán)境下的視頻穩(wěn)定性。
【多維度感知】多感知跨界融合,激發(fā)智慧視覺新潛能
越影支持RGB與雷達、紅外熱成像、3D結(jié)構(gòu)光等多維度感知能力的融合,匹配紅外測溫、智能支付、掃地機器人、雷達視頻一體機等多種產(chǎn)品需求,可廣泛應(yīng)用于交通管理、金融支付、工業(yè)視覺等多種業(yè)務(wù)場景。
【來源:快科技】【作者:上方文Q】
2022-01-14 14:57:33
2022-01-14 11:59:24
2022-01-14 11:18:24
2022-01-14 10:58:20
2022-01-14 10:57:05
2022-01-14 10:55:01
營業(yè)執(zhí)照公示信息
相關(guān)新聞