手機(jī)版
化工儀器網(wǎng)手機(jī)版
化工儀器網(wǎng)小程序
官方微信
公眾號(hào)：chem17
掃碼關(guān)注視頻號(hào)
康謀技術(shù) | 如何有效減少自動(dòng)駕駛中傳感器數(shù)據(jù)的存儲(chǔ)量
對(duì)于數(shù)據(jù)的存儲(chǔ)落盤(pán)來(lái)說(shuō)，占據(jù)絕大部分存儲(chǔ)空間的數(shù)據(jù)來(lái)自于相機(jī)傳感器，特別是當(dāng)前的數(shù)采需求可能需要6-8個(gè)800M像素的相機(jī)采集，進(jìn)行RAW數(shù)據(jù)落盤(pán)。
舉個(gè)例子
因此能夠有效降低數(shù)采的存儲(chǔ)成本，減少數(shù)據(jù)挖掘的花費(fèi)至關(guān)重要。
應(yīng)對(duì)方法
時(shí)間同步策略
通過(guò)良好時(shí)間同步策略，可以避免產(chǎn)生大量無(wú)效數(shù)據(jù)。當(dāng)然這里的無(wú)效也是相對(duì)而言的，原因之一是通過(guò)后期的手動(dòng)調(diào)整進(jìn)行不同模態(tài)的數(shù)據(jù)的時(shí)間對(duì)齊是一種非常耗時(shí)的工作。在數(shù)據(jù)采集的過(guò)程中，通過(guò)觸發(fā)式的機(jī)械連接和軟件時(shí)間同步，讓不同模態(tài)的傳感器數(shù)據(jù)打上高精度的時(shí)間戳，一方面便于數(shù)據(jù)管理，減少無(wú)效數(shù)據(jù)落盤(pán)，另一方面充分有利于算法訓(xùn)練。
數(shù)據(jù)壓縮
從數(shù)據(jù)壓縮的角度來(lái)看，在采集過(guò)程中可以采用H.264或者H.265進(jìn)行視頻壓縮，比如在H.265壓縮的情況下，取決于采集數(shù)據(jù)的復(fù)雜性、分辨率、幀率和編碼器的設(shè)置，可以實(shí)現(xiàn)50%左右的壓縮比率，1GB壓縮成500MB，當(dāng)然這個(gè)比率會(huì)受到很多參數(shù)影響，因此因?qū)嶋H情況而有所不同。
專(zhuān)注所需場(chǎng)景
目前，隨著傳感器技術(shù)的和算法的進(jìn)步，自動(dòng)駕駛算法/系統(tǒng)已經(jīng)能夠應(yīng)對(duì)99%的場(chǎng)景，這是因?yàn)楦鱾€(gè)算法已經(jīng)獲得了PB甚至EB級(jí)別的數(shù)據(jù)，覆蓋了生活中的絕大多數(shù)場(chǎng)景。為了去應(yīng)對(duì)剩下1%的邊緣場(chǎng)景，實(shí)際上，讓數(shù)采車(chē)直接進(jìn)行上路進(jìn)行數(shù)據(jù)采集，將會(huì)有大量的重復(fù)數(shù)據(jù)，并且需要數(shù)據(jù)團(tuán)隊(duì)需要花費(fèi)相當(dāng)多的時(shí)間在其中尋找到目標(biāo)數(shù)據(jù)。所以，優(yōu)化數(shù)據(jù)的采集模式，讓數(shù)采專(zhuān)注于算法所需場(chǎng)景的數(shù)據(jù)，是當(dāng)下能夠有效減少數(shù)據(jù)存儲(chǔ)體積的方式。
康謀方案
康謀HEEX
針對(duì)這方面，康謀HEEX智能數(shù)據(jù)管理平臺(tái)采用了基于事件和預(yù)設(shè)觸發(fā)器的數(shù)據(jù)采集解決方案，能夠使得數(shù)據(jù)團(tuán)隊(duì)直接在邊緣設(shè)備或是云端直接提取與所需事件相關(guān)的數(shù)據(jù)。我們稱(chēng)之為“智能數(shù)據(jù)”，并且能夠無(wú)縫分發(fā)給開(kāi)發(fā)團(tuán)隊(duì)，優(yōu)化數(shù)據(jù)存儲(chǔ)成本和資源。
HEEX的工作流
康謀HEEX的工作流主要分為以下5個(gè)部分：
定義所需的“智能數(shù)據(jù)”。即設(shè)置所需采集的數(shù)據(jù)的條件，比如“在有行人通過(guò)時(shí)，制動(dòng)加速度超過(guò)5m/s^2”場(chǎng)景的數(shù)據(jù)；
定義觸發(fā)器。將設(shè)置的條件通過(guò)康謀HEEX SDK自動(dòng)部署到數(shù)據(jù)采集系統(tǒng)上；
部署代理。即設(shè)置監(jiān)測(cè)數(shù)據(jù)、評(píng)估條件并最終記錄事件的相關(guān)數(shù)據(jù)到對(duì)應(yīng)的系統(tǒng)中；
提取和上傳數(shù)據(jù)。通過(guò)系統(tǒng)的網(wǎng)關(guān)和康謀HEEX API，可以方便上傳到云端或下載到本地；
數(shù)據(jù)分發(fā)。同樣通過(guò)康謀HEEX API可以根據(jù)用戶的需求自動(dòng)處理不同模態(tài)的數(shù)據(jù)，并將其分發(fā)的對(duì)應(yīng)的開(kāi)發(fā)團(tuán)隊(duì)。并隨著場(chǎng)景的變化和更新，可以進(jìn)行更加細(xì)化和多樣化的條件設(shè)置，以更好的定位只能數(shù)據(jù)。
在這個(gè)過(guò)程中，落盤(pán)的只有目標(biāo)場(chǎng)景的數(shù)據(jù)，而并非所有數(shù)采車(chē)經(jīng)過(guò)的場(chǎng)景，因此能夠有效降低數(shù)采的存儲(chǔ)成本，減少數(shù)據(jù)挖掘的花費(fèi)。
同時(shí)，康謀HEEX也將會(huì)根據(jù)需求，集成到康謀高精度的時(shí)間同步數(shù)據(jù)采集方案中，同時(shí)提供數(shù)據(jù)壓縮和智能數(shù)據(jù)管理服務(wù)。
如您對(duì)上述產(chǎn)品和解決方案感興趣，
歡迎聯(lián)系我們了解更多信息。
期待與您的交流！
相關(guān)產(chǎn)品
免責(zé)聲明
- 凡本網(wǎng)注明“來(lái)源：化工儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來(lái)源：化工儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。
- 本網(wǎng)轉(zhuǎn)載并注明自其他來(lái)源（非化工儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來(lái)源，并自負(fù)版權(quán)等法律責(zé)任。
- 如涉及作品內(nèi)容、版權(quán)等問(wèn)題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
采購(gòu)中心