熱門:瘦小腿瘦小腿瘦小腿

  1. 首頁
  2. 科技日報
  3. 科技

Global Shutter 為AI 點睛

  • 小白兔

  • 2018-10-23 09:26:47

前言

AI(人工智慧),是目前科技行業最火的話題。從Alpha Go戰勝圍棋世界冠軍柯潔,到德勤與Kira Systems 聯手,將AI引入會計、稅務、審計等財務工作領域,可以看出,AI離我們的生活越來越近了。

快門技術

AI到底能做什麼,每個人都有自己的看法,大家對AI有著非常多的期待,期待AI能夠解放人類雙手,提高人類的工作效率。但不管怎麼樣,大家都希望AI可以讓機器像人一樣思考學習,像人一樣聽懂語音識別,像人一樣控制運動,像人一樣進行視覺識別,用機器實現目前所有必須藉助人類智慧才能實現的任務。

在AI技術裡,人工神經網路非常關鍵。在人工神經網路模型中,其結構分為輸入層,隱藏層和輸出層。(如下圖)

而做為AI的輸入,目前主要是通過視覺輸入和語音輸入。為了讓機器像人一樣進行視覺識別,目前最重要的器件就是Camera sensor。Camera sensor就像機器的眼睛,為機器感知周圍的世界。Camera sensor的拍照效果,跟很多引數有關,曝光時間是影象感測器其中一個重要的引數,而快門速度則會影響到Camera sensor的曝光時間。

快門主要用來控制攝像頭感測器的有效曝光時間。一般而言快門的時間範圍越大越好。若想抓到急速移動的物體,就需要快門速度越快越好。而若需要看到夜晚的車水馬龍,就需要快門時間越長越好。

目前主要由兩種曝光Shutter技術: Rolling Shutter 和 Global Shutter

Rolling Shutter:

Rolling Shutter的sensor 的曝光是按照逐行曝光的方式實現。在曝光開始的時候,Sensor逐行掃描逐行進行曝光,直至所有畫素點都被曝光。當然,所有的動作在極短的時間內完成。不同行像元的曝光時間不同。

(圖片來源於網路)

Global Shutter:

與RollingShutter不同,是整幅畫面同一時間曝光實現。攝像頭感測器sensor的所有畫素點同一時間感應光線,同時曝光。Sensor讀出的是同一時間的同一畫面。

(圖片來源於網路)

下面有兩張圖可以介紹這兩種技術:

(圖片來源於網路)

左邊的圖是Rolling shutter的曝光方式,逐行掃描。而右面的圖則是Global Shutter的曝光方式,所有畫素點一起曝光。

Global Shutter的優勢

在拍照的時候,Rolling Shutter成像過程如下圖:

左邊,是一個常見的場景(上面風扇,下面小汽車),Rolling Shutter對它進行逐行掃描,成像結果如右圖。面對一個運動中的物體,Rolling Shutter是一行一行曝光,採集畫面,所以形變非常嚴重。而Global Shutter是所有畫素同時曝光,所以不會產生此形變。

(圖片來源於網路)

之所以Global Shutter 能夠做到全域性曝光,跟Rolling Shutter相比,主要是Global Shutter在每一個畫素上都增加了一個儲存單元,才使得所有的畫素能夠同時曝光。

同Rolling shutter相比,Global shutter的sensor可以很好的解決以下問題:

1. 高速物體變形(左圖是採用Global shutter技術的 SmartSens SC132GS拍攝的圖片,右圖是 Rolling shutter sensor拍攝的圖片)。

可以明顯看出用Rolling shutter sensor拍攝高速運動的風扇,物體會變形。

(圖片來源於SmartSens)

2. 明暗現象 (左圖是採用Global shutter技術的 SC132GS拍攝的圖片,右圖是沒有采用HDR技術拍攝的圖片)

在光線有明暗變化的時候,左圖Global shutter sensor 不會有明暗瑕疵,可以做到單幀HDR。

(圖片來源於SmartSens)

Global Shutter的五大應用領域

成像技術不停的演進,促進了AI的發展。通過AI,大資料和網際網路技術,帶動了智慧城市的建設。智慧安防,智慧交通,智慧工廠,智慧商業,智慧家居,都能看到Camera的身影。一般情況下,Rolling shutter技術就足夠了,但若要捕捉高速運動物體,或在環境光條件不理想的情況下獲取清晰影象的時候,使用Global Shutter技術,無疑會帶來更好的效果。

1. 智慧安防

目前來看,AI最容易落地的就是安防領域。通過AI技術,將監控中的人準確無誤的抓拍下來,可以最大化的實現監控目的。一般情況下,安防Camera主要抓拍的都是行人,都是慢速運動的物體,Rolling shutter sensor就可以勝任。但若通過Global shutter sensor,則可以在高速移動的拍攝場景中有效降低影象畸變,避免了抓拍時,人物或物體運動帶來的斜坡晃動現象,以及人臉模糊的問題,從而提供更清晰的影象。因此在高速違章查處,卡口ETC等需要道路監控的地方,Global Shutter比Rolling Shutter更加勝任。

2. 智慧交通

為了讓城市交通更加便利,疏導公共交通,智慧交通系統是解決交通發展瓶頸的有效手段之一。高速違章查處,卡口ETC,十字路口的道路監控,停車場的智慧管理,道路流量監測,電子警察等都離不開成像技術。只有準確的成像資訊,才能更加準確地判斷當前的路況以及車輛的情況,才能更好地實現智慧交通。這個時候,Global shutter可以更好的助力智慧交通。

為了實現智慧交通,從汽車角度來看,新型汽車都在從ADAS輔助駕駛向自動駕駛的方向演進。無論是輔助駕駛還是自動駕駛,汽車的中控晶片對sensor接收下來的影象資訊要求越來越高。中控晶片需要sensor在車輛高速運動中,不僅提供沒有變形的清晰圖片,還需要提供周邊物體與車輛的距離。而Global shutter sensor一方面可以避免車輛高速運動時,Rolling shutter sensor 拍攝變形的問題,另外一方面,結合結構光技術(接收sensor是Global shutter的)或者雙目攝像頭(兩個攝像頭若都是Global shutter最好)技術,就可以提供更清晰的影象,以便於中控更加精準的計算出周邊物體與車體的距離,判斷當前的路況,判斷交通燈的狀況,才能使車輛行駛更加安全。

(圖片來源於網路)

3. 智慧工廠

由於Global shutter sensor可以清楚的還原高速運動中的物體的形態,有效避免Rolling shutter sensor 擔心影象質量而降低自動流水線的速度問題。所以大型工廠在檢測,質量管控,機械臂操作,物流,測量等自動化生產時,使用Global shutter可以提高生產效率。

4. 智慧商業

隨著支付寶,微信支付的發展,國內二維碼支付變得非常流行。而對於店家來講,掃碼裝置的需求也在增長。對於掃碼裝置來講,若用Global shutter sensor可以使掃碼裝置的可識別區域變長,使使用者擁有更優的體驗感。

(圖片來源於SmartSens)

5. 智慧家居

家用裝置若要智慧化,也需要Camera的幫忙。比如,掃地機器人。掃地機器人若想將屋內的空間測量出來或者識別前方是否有障礙物,都離不開Camera這隻眼睛。同樣,Global shutter則可以幫助掃地機器人更加精準的獲得距離資訊,使得掃地機器人更加智慧化。

雖然說Global Shutter 有很多優勢,但是也無法完全替代Rolling Shutter。Global shutter sensor適用於拍攝高速運動物體,或AI應用中基於機器視覺演演算法的智慧感知技術(vSLAM/手勢跟蹤識別/光流等演演算法),Rolling Shutter sensor則適用於拍攝運動速度相對較慢的物體或場景,可獲得更高的成像信噪比。而且由於Global shutter 需要對每個畫素都要增加一個儲存單元,這樣增加了sensor的生產難度以及成本。

總結

考慮到BSI在低照條件下的成像亮度和清晰度都比FSI有更大的優勢,可以有效增加Global shutter sensor在應用場景上的拓展,適應性更廣,SmartSens首創將BSI技術和Global shutter技術相結合,釋出了多款基於BSI(背照式)的Global Shutter sensor產品。

AI和IoT的發展,影響著人們的生活,甚至在改變人們的生活。而做為AI和IoT的眼睛,Camera sensor的技術發展也間接影響著AI和IoT的發展。SmartSens的理念是服務於應用技術的發展趨勢,根據市場和應用技術的需求,將看清萬物的“眼”做到極致。通過不斷完善提升CMOS成像感測器的設計和製造能力,為AI和IoT點睛。

推薦您的文章

其他文章