網頁

2022-10-09

[openpilot] GH答客問 - 可視覺化的ai場景重構 (聯發科或晶心科有沒有興趣?)

喜歡本文請押讚好,如果跳出確認視窗,要再押一次"確認"才能成功給我一個讚唷~

 


GH很久沒有在Discord上跟大家聊天了,最近comma ai積極在開發縱向功能。此外它們的新伺服器上線後,comma也不斷再擴展他們在AI領域的技能樹。他們現在可以將模型的決策視覺化,因此AI可以透過圖形告訴我們他的想法。人類開始可以理解AI的知覺。這當然是很前衛的事情,也是非常新穎的AI技術,很難想像就只是由這20幾個年輕工程師就能實現的事情。我們來看看comma為我們展現了什麼吧?



GH:

- comma目前還沒有恢復獲利 😦(因為C3的採購成本很高)

- 請幫忙傳播關於C3的消息!

- e2e會比你們預期的還要更快發貨(帶有開關的e2e)。

9月是我們迄今為止開支最大的一個月,我們花了170萬美元。

雖然其中大部分是為1萬多台C3購買的(部分)零件。

銷售量一直穩定在每月200台左右。我想在經濟不景氣的情況下,這還算可以。

我希望隨著更多的汽車移植,我們會看到成長,但也許我們只是需要更多的耐心。

我今天開了Bolt,跟其他車相比之下,那個移植太差了!

我們請了一位新的社交媒體經理。

我們將超越Waymo和他們的追隨者。我們計劃在黑五之前推出0.9版本

我們終於又開始開發功能了,所以我想我們確實有一些中間過程的計劃。

來看看新的視覺模型看到了什麽?


綠燈


紅燈




GH:這些是從stable diffusion用了非常新的ML技術。

GH:不是,這是用pytorch訓練的。但是0.8.17將會是第一份tinygrad釋出版本。

GH:SNPE已經不再GPU上使用了,這些是為了這個鋪路

https://github.com/commaai/openpilot/tree/ngrl

GH:這就是我們在辦公室裡一直在開發的事情,它消除了我們培訓的一大步驟,使用了新的計算伺服器,我們可以在 6 小時內完成訓練模型。


GH:(用視覺判斷速度)這不是一個聰明的方法。視覺永遠無法準確地告訴你100米外的汽車速度。問題是,這並不重要。你只需要一個可以處理不確定性的策略。如果你可以透過e2e學習,為什麽還要為這個策略人工編碼?

GH:你沒有從四維角度思考問題。你只需要知道如何剎車(何時剎車),其他的都不需要。


GH:model判斷需要停止,人類會繞過。


GH:不會讓OP變得更激進。我們現在正在研究comma的安全分數。我們要教模型平穩駕駛,這就是安全駕駛的模式。


GH:對,0.9版的定義就是有e2e。或許也會有OP導航,但是0.9發表時e2e預設會是關閉。


GH:跟其他ADAS一樣,OP是有使用限制的。

例如
*在同一條車道上有靜止車輛的情況。
*當需要突然的剎車制動操作時(緊急剎車)。openpilot的設計是對其能夠產生的減速或是限制加速。


comma:綠色代表前進,這是ai模型的內在想法的視覺化重構。

補充:stable diffusion可以把文字透過AI轉成圖像,而AI視覺化,這是一種把AI內在特徵空間轉化成視覺的反向方法。以前e2e可以說是一個黑盒子,現在把潛在空間(Latent space)視覺化,等於是讓e2e告訴我們他為什麼進行判斷。這使得e2e變得可分析與理解,多數AI需要重構3D場景,現在AI可以透過圖像把他理解的場景重構出來,這是目前ai訓練的全新方法。



comma:這是一個700bit的ai辨識空間,左側是AI重構與右側現實場景。

這代表comma只要高度訓練AI,讓AI可以還原真實場景,這時候就就完成了e2e的3D即時描繪。直接跳過現在waymo的3d高精地圖,以及Tesla的3d場景即時建模。這代表ai模型對於感測硬體與運算的需求量都會最小化。這是個有機會靠此以小搏大,打贏Tesla的技術路徑。



comma:橘色的圓弧只是繪圖的bug,需要重新調整大小落在前車上。這不是model的問題,只是描繪位置的偏誤。


comma:每10天,可以蒐集100萬英里的上傳資料。



comma:現在證明了Qualcomm和nvidia一樣難合作。沒辦法這些公司購買到足夠的晶片。我們在nvidia取消了comma 6的規劃,現在也取消了定制的Qualcomm SOM。有沒有製造競爭性 AI 晶片的新創公司?類似於 Tesla FSD 芯片。


comma:這是一個真實的機會。這些公司似乎都自我設限他們的方式,這是一個現成開發SOC的事業。也許Rockchip或其他的二三線公司最終會主導AI跟機器人市場?除非我自己是任天堂或三星,否則Nvidia或高通對我們一點都不感興趣。


comma:MTK你們有興趣賣我們晶片嗎?


comma:MTK他們容易合作嗎?(門檻高嗎?)我沒有找到他們銷售晶片的任何價格?(沒有任何公開的銷售管道)。

comma是由一群平均不到30歲的年輕人組成,他們沒有業界的人脈,也不喜歡交際應酬,他們的溝通方式就是直接討論,或是網路上直接溝通。如果你想採用傳統那套業務敲門談心吃飯,然後再談生意,這種模式comma是不接受的,他們沒有時間跟你社交,有興趣就是直球對決直接談,透過Discord或是Twitter聯繫到他們VP或是GeorgeHotz都可以,GH會直接回信。

你可以把他們想成剛在創業的apple或Microsoft,他們是在還沒有組織政治與業務行銷的初創狀態。他們不喜歡找經銷與代銷,他們喜歡直接跟製造廠商聯絡,不要中間商。(特斯拉也是這樣)他們是純工程師團隊,它們不跟業務打交道,用這種觀點,你會比較能了解他們的文化。



comma:我們可以透過創投募資來定制晶片,但是當很多人在做類似的晶片時,comma沒有理由這樣做。我很想開第二家公司來做這件事:生產晶片、開放技術文件、開放定價。 RISC-V + NVDLA的晶片。


comma:我們並不想要任何專用於“車規”的東西,因為它太貴了。我們想要手機晶片。我懷疑 SDM710比SDM845更容易購買,重點是要能夠從Qualcomm購買到晶片。


comma:我喜歡(TI TDA4VM)這個晶片的開放性。可惜的是對於openpilot,它的算力有點不足,但我對V2感到興奮!TI 在開放和可用方面一直做得很好,因此我們以前構建的產品中曾使用了OMAP晶片。


comma:(Ampere AI)遠遠超過我們產品的價格帶,類似於Xeon。但是它們是很棒的公司,樂於購買伺服器等級的ARM。


comma:(sima.ai)有發布或是出貨過嗎?除非公司有可追蹤的大量出貨紀錄,否則我們仍然懷疑,他們將無法承諾這類的事情。


comma:Rockchip RK3588可能還不錯,也是我們目前的第一替代產品。要跟三星買任何零件要有好人品。


comma:我們喜歡allwinner,但是他們還沒有足夠算力的產品。


comma:Coral遠遠不足,他不是SOC,他只是加速器。


comma:對,如果蘋果賣SoC給我們,M1是夢幻晶片。


comma:據我所知(Tenstorrent Inc)他們沒有出貨過晶片,希望它們有改變。


comma:哈哈,我們甚至沒辦法讓三星直接賣給我們RAM或是OLED螢幕。


comma:如果有大型車廠建立開源的SOC公司,他就會主導整個領域。


comma:大約是40鎂成本的AI晶片。(需求量100K)


comma 6?

comma:我們在某次採訪中也對此進行了一些討論。我們曾經以NVIDIA TX2設計了一個完整的產品,然後Nvidia他們放棄了向我們出售晶片的協議。晶片沒有其他來源,所以我們不得不取消那個產品。


等等comma 6?那comma4或5呢?

comma:因為6鏡頭。


comma:轉貼彭博的文章https://t.co/1GgW55YnAO
 
comma:我們不是一直抱怨其他公司,這裡有一個很好的示範我們的圖像化能力。這是來自C3上的視覺模型。(底下是真實的影像。)


comma:這是把我們模型的特徵空間視覺化的展示,我們使用arxiv的transformer的技術。



路人:特徵空間可能是最後一哩。(相對於車廠大大們每天都很努力在建構3D即時描繪)

comma:真的。


comma:(3D鳥瞰即時建模)我們有類似的東西,我們有深度網(相對於特斯拉的佔據物網路)。但實務上用處不大。停止在幾何判定上這樣的思考,要直接開始思考如何決策。


comma:你在新聞中找真相嗎?所有非特斯拉汽車最終都將運行 openpilot,就像所有非蘋果手機最終運行 Linux 一樣。汽車行業像在2006年,人們還認為Symbian或黑莓操作系統可能仍然存在。


我們都知道2006年所有的傳統手機廠都在堅持鍵盤與複雜難用的作業系統當作智慧手機,黑莓跟Moto、Nokia都是市場主流的年代。直到2007蘋果橫空推出iPhone,顛覆整個手機市場。

當傳統車廠大大們還在努力標記每一個可以看到的物體,想要靠最精確的高精地圖,comma ai已經把e2e決策都視覺化而且可分析了。(當逆轉時刻到來,市場很快就會被翻一輪)


comma:openpilot是否比Tesla Autopilot還好,要看你的價值點。

我們的口號:讓駕駛更輕鬆(AI可以更長時間不犯錯,穩定性更高)
它們的口號:看我們瘋狂的新功能(像是會撞牆或是撞飛機的召喚功能)



comma:去年我們創造了557萬美元收入,5年只花了1810萬美元的募資。我們營收似乎比Waymo或Cruise更多?? (2018年Waymo估值為1750億美元,最近還進行了300億美元募資。)


Cruise募資約1億美元,在2021總共賠了12億美元。

comma:恩,那1億美元的錢哪裡來的?我知道不是從他們只有在舊金山試運行47趟賺來的。這樣看起來不像是金融詐騙嗎?

(像是Nikola的電動車詐騙台灣也有電動車詐騙,公司的共同特徵都是從炒股獲利,不是從銷售獲利。)


    事實上很有機會comma會翻轉整個自動駕駛領域,因為傳統車廠不熟悉ai,所以它們花大量人工編碼在開發自動駕駛,所以我看到各種自動駕駛DEMO,只聞樓梯響,卻沒有真正上市的產品,不管是福斯大眾,日本豐田,或是戴姆勒與福特、GM等等汽車集團,都卡在自動駕駛無法前進,只能睜眼每天看Tesla FSD車主,整天在路上轉的真實影片。都沒有人發現自動駕駛的技術層次已經完全被拉開,還幻想傳統車廠可以繼續維持整片天空。

comma ai採用不同的技術路徑,所以有不同的結果。至於他們會不會贏?我當然也沒辦法當半仙來替技術預言。不過依目前現狀看起來,e2e的決策可視覺化之後,e2e再也不全然是黑盒子,甚至可能是顛覆各家既有路線的新典範,一旦發生典範移轉,整個產業就會是一場大革命,前所未有的革命。

----------------------------------------------------------------------------------------------------------------

如果你是第一次來到這邊,歡迎加入下方社群,我都會在第一時間報導與解析Comma ai與openpilot的最新動態,快來一起follow吧!