作為智能駕駛的核心傳感器，攝像頭的作用毋庸置疑。

為了獲得更好的圖像質(zhì)量，通常在系統(tǒng)開發(fā)過程中，工程師需要對相機的ISP（圖像信號處理）參數(shù)進行調(diào)整，以更好的適配場景和算法。一般情況下，這個優(yōu)化調(diào)整的過程需要幾個月時間。

研究結(jié)果表明，對于任何一種CV算法，相機的ISP都必須根據(jù)其結(jié)構(gòu)、任務(wù)、語義、訓(xùn)練和偏好進行專門優(yōu)化。而視覺感知的重要性，也在被越來越多的企業(yè)視為未來自動駕駛的低成本解決方案。

近日，豐田汽車旗下負責智能駕駛開發(fā)的子公司W(wǎng)oven Planet對外證實，未來將效仿特斯拉公司的做法，試圖用低成本攝像頭來推進自動駕駛技術(shù)落地。

該公司認為，基于攝像頭采集數(shù)據(jù)和訓(xùn)練模型，是一個具備“突破”性意義的里程碑，并且有助于降低推動自動駕駛落地的成本，同時對于一個強大的自動駕駛系統(tǒng)也至關(guān)重要。

“我們需要大量數(shù)據(jù)。僅僅從非常昂貴的冗余安全自動駕駛系統(tǒng)（比如，配置激光雷達）中采集數(shù)據(jù)，是遠遠不夠的。”Woven Planet公司相關(guān)技術(shù)負責人表示，低成本相機的大部分數(shù)據(jù)，已經(jīng)接近高成本傳感器的水平。

ISP的規(guī)范

在Woven Planet公司的崗位招聘中，攝像頭模塊負責人的要求之一，就是對圖像信號處理（ISP）有深刻的理解，涉及相機模塊、圖像傳感器、接口、ISP SoC等，并負責攝像頭系統(tǒng)技術(shù)路線圖的制定。

在ISP層面，上述崗位需要對圖像信號處理、圖像質(zhì)量調(diào)整、相機校準、圖像質(zhì)量度量、色彩科學(xué)有較強的理解能力，了解計算機視覺算法，以及攝像頭的工廠校準，內(nèi)部/外部校準，ISP調(diào)諧校準等。

通常在一款攝像頭的ISP標定過程，涉及到黑電平、NR降噪、靜態(tài)壞點、鏡頭的Shading、AWB靜態(tài)白平衡、CCM、陰影矯正、電子防抖、日夜切換、聚焦參數(shù)等多個環(huán)節(jié)。

而針對汽車行業(yè)，尤其是智能駕駛、艙內(nèi)監(jiān)控等應(yīng)用，ISP優(yōu)化也有很多差異化的地方。比如，針對前視ADAS系統(tǒng)，需要可以快速分析遠處和近處的物體，鏡頭聚焦在一個遠距離范圍內(nèi)，需要最大限度地提高系統(tǒng)的靈敏度。

針對后視及環(huán)視應(yīng)用，則需要應(yīng)用畸變校正算法和多圖像的拼合。比如，采用預(yù)畸變的SFRplus測試圖卡，應(yīng)用于廣角鏡頭的畸變和清晰度測試。對于超廣角攝像頭則需要增加超廣角清晰度分析設(shè)備來進行測試。

艙內(nèi)監(jiān)控，比如駕駛員疲勞分心預(yù)警感知，主要是掃描駕駛員的面部和眼部位置，需要高精度成像來跟蹤不同光線環(huán)境中的駕駛員狀態(tài)識別。

而在行業(yè)標準方面，此前大多數(shù)汽車攝像頭系統(tǒng)都是獨立定制開發(fā)的模式，并沒有用于校準或測量圖像質(zhì)量的標準化參考點。汽車成像由于其不同和獨特的成像條件（魚眼、多攝像頭、高動態(tài)范圍/HDR、溫度范圍等），給行業(yè)帶來了獨特的挑戰(zhàn)。

此后，IEEE-SA P2020汽車成像標準工作組的成立，就是為了解決汽車成像系統(tǒng)的圖像質(zhì)量測量方面存在的相當大的模糊性，包括基于人類和計算機視覺。

按照此前IEEE P2020汽車成像工作組發(fā)布的行業(yè)白皮書可以看到，過去汽車制造商和一二級供應(yīng)商缺乏一種共同的語言來描述系統(tǒng)的圖像質(zhì)量，造成很多需求在OEM、一級、二級供應(yīng)商開發(fā)過程中出現(xiàn)偏差。

一個比較明顯的差異化結(jié)果就是，即便是基于相同的視覺處理芯片、算法，由于攝像頭的差異，可能就會出現(xiàn)同一個功能的表現(xiàn)差異。

就在今年初，誠邁科技就與英偉達正式簽署合作協(xié)議，為智能駕駛相關(guān)企業(yè)提供基于NVIDIA DRIVE Orin及Xavier等系統(tǒng)級芯片產(chǎn)品的量產(chǎn)級別ISP服務(wù)。

ISP的爭奪戰(zhàn)

毋庸置疑，不管是其他應(yīng)用行業(yè)，還是汽車行業(yè)，攝像頭性能的優(yōu)化已經(jīng)變得越來越重要。過去，攝像頭廠商是主要的ISP需求方。近年來，一方面，CMOS廠商在逐步尋求集成ISP的方法，同時，在SoC中也把ISP作為主要的模塊。

這些通常都被稱為硬ISP，還有一種是軟ISP，通過專業(yè)算法處理傳感器數(shù)據(jù)，如線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等。此前，特斯拉傳言要“拋棄”ISP，大概率也是希望采用軟ISP來規(guī)避第三方硬件上的限制。

而與攝像頭中集成ISP不同，類似英偉達、高通等SoC廠商的產(chǎn)品中集成的ISP，在過去比較難通過第三方來實現(xiàn)調(diào)優(yōu)。比如，Qualcomm處理器自帶的ISP，就有自己的優(yōu)化算法。即便是可以實現(xiàn)參數(shù)調(diào)校，也大多數(shù)會限定在高通的框架之內(nèi)。

這也是為什么此前很多手機廠商尋求自研ISP來提升攝像頭的性能，并構(gòu)建差異化門檻。原因恰恰就是因為“相同的鏡頭和傳感器經(jīng)過不同的ISP調(diào)教，也會有不同的效果?！?/span>

此外，ISP是非標準化的芯片IP，既有客觀的性能指標，比如攝像頭的數(shù)量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀化的圖像評價指標。

幾年前，Arm站了出來，希望一統(tǒng)汽車級ISP的IP江湖。

早在2016年，ARM就收購了成像技術(shù)開發(fā)商Apical，后者專門從事ISP和計算機視覺技術(shù)開發(fā)。后者成立于2002年，此前主要服務(wù)手機市場。

今年初，Arm宣布正式發(fā)布汽車級Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看來，未來五年，汽車攝像頭市場的規(guī)模還在快速增長，單車配置10-13個攝像頭會成為常態(tài)，這意味著，ISP市場（需要適配不同的需求）也在同步擴大。

而相比于傳統(tǒng)攝像頭內(nèi)置的ISP，Mali-C78AE有超過380個故障檢測電路，可以檢測連接攝像頭的傳感器和硬件故障。這對于需要滿足更高功能安全要求的系統(tǒng)來說，至關(guān)重要。

此外，Mali-C78AE采用了更好的降噪技術(shù)和動態(tài)范圍管理，通過調(diào)整幀的過暗或過亮區(qū)域，確保每個幀都能清晰和適當曝光，并且能夠在大約150毫秒的時間窗口內(nèi)調(diào)整幀數(shù)據(jù)，大大降低ISP的出錯幾率。

同時，和過去與攝像頭數(shù)量成正比關(guān)系的ISP來說，Mali-C78AE能夠處理多達4個實時攝像頭或16個虛擬攝像頭的數(shù)據(jù)，這意味著整體系統(tǒng)成本的下降，同時也會大幅降低攝像頭的功耗。

在量產(chǎn)端，Mali-C78AE ISP將可以配合此前已經(jīng)發(fā)布的Cortex-A78AE CPU、Mali-G78AE GPU。公開信息顯示，Mobileye即將推出的下一代EyeQ Ultra、EyeQ6H等SoC將率先搭載Arm的ISP，進一步提升圖像處理能力。

ISP的軟實力

當然，ISP的能力優(yōu)化，仍然是一條漫長的道路。這也預(yù)示著，基于攝像頭的感知技術(shù)仍然具備很大的潛在提升空間。

按照IEEE-SA P2020白皮書中所說，定義ADAS系統(tǒng)的組件要求是一個復(fù)雜的過程。在中間數(shù)據(jù)流中觀察到的特定效果不一定是孤立的，需要對完整的信息傳輸流進行復(fù)雜的分析。

這意味著有必要分析從光學(xué)層面到電子信號層面的鏈條，必須考慮到系統(tǒng)預(yù)期運行的使用情況。因此，至關(guān)重要的是，組件不只是作為孤立的元素來表征，而是在一個單一的框架下很好地涵蓋了鏈條上的所有影響，這樣才能適當?shù)乇碚髡麄€系統(tǒng)。

比如，IEEE P2020分組3（系統(tǒng)和部件層面的計算機視覺的圖像質(zhì)量）的目標就是開發(fā)一致的指標，既描述各種退化，又給出其置信度的界限。探索區(qū)分性的概率方法，如對比度檢測概率（CDP）。這有助于整體信號鏈的可視化，并旨在改善跨域障礙。

這也催生了ISP賽道的工程服務(wù)市場。

比如，Imatest LLC公司在去年就推出了新的相機幾何校準驗證服務(wù)，原因是在構(gòu)建汽車攝像頭系統(tǒng)時，幾何相機校準是必要的，以提供圖像和真實世界之間的對應(yīng)關(guān)系。

同時，測試服務(wù)與IEEE P2020保持一致，產(chǎn)生64個目標對組合進行分析。目標距離誤差用于描述給定校準的質(zhì)量。相機旋轉(zhuǎn)到多個位置，通過圖像場進行評估，每個圖像都產(chǎn)生一組用于分析的距離錯誤值。

此外，在ISP算法層面，也有不少公司開始推出一些工具。

去年，一家名為Visionary.ai的以色列軟件公司就推出了一套軟件ISP工具，基于AI技術(shù)大幅提高圖像和視頻的質(zhì)量，并檢測每幀中的每個細節(jié)。

另一家名為Algolux的計算機視覺和圖像優(yōu)化解決方案提供商，也將計算成像技術(shù)（CIT）導(dǎo)入汽車ISP領(lǐng)域，也就是在傳統(tǒng)成像技術(shù)中引入信息處理方法，改變傳統(tǒng)光學(xué)成像單一依靠線性光學(xué)信息傳遞理論的瓶頸。

這也被稱為，下一代軟ISP的“新”能力。

因為，硬ISP是由工程師撰寫的代碼，特斯拉稱之為軟件1.0。人工智能增強的ISP，也被稱為軟件2.0，不是由工程師決定，而是由AI技術(shù)進行不斷迭代優(yōu)化。

比如，Algolux公司給出的解決方案，就是不采用傳統(tǒng)的硬ISP圖像處理器，而是采用RAW傳感器數(shù)據(jù)作為輸入，然后通過端到端深度神經(jīng)網(wǎng)絡(luò)融合和處理數(shù)據(jù)。

“我們的軟ISP現(xiàn)在提供的最好結(jié)果，是在0.1 lux（被拍攝主體表面單位面積上垂直照射到的光通量）以下，可以在幾乎完全黑暗的情況下檢測全色圖像和視頻?！痹赩isionary.ai公司看來，傳統(tǒng)硬ISP架構(gòu)則需要長時間曝光的圖像檢測，而我們可以實現(xiàn)視頻級檢測。

或許，這才是我們需要正視的ISP“變革”。同時，ISP的優(yōu)化能力，也將是汽車感知技術(shù)方案商的差異化競爭門檻。