網頁

2023-07-31

[openpilot] 2023 Comma Con搶先預覽報導(一) - 媽,我推特上了Comma Con!

 


我們恭喜comma ai順利完成comma con的活動,這個連續超過7小時的內容真的讓大家收穫滿滿。他們專精於End-to-End的訓練,有別於所有其他的自動駕駛開發公司或是特斯拉。(PS.現在特斯拉也開始使用E2E的神經網路訓練)。我們來看看活動有哪些精采內容搶先報導吧~


主持人是美女COO Alex,她負責每個講者之間的串場時間。這次活動演講者數量創新高,總時間也是創新高,滿滿的7個小時演講,肯定燒乾你的腦容量。

第一個演講是comma的CTO  Harald Schäfer的Driving to Taco Bell with end-to-end ML


comma最終目標要打造一個超人類的駕駛代理


他們一開始用了簡單的深度標記(深度網路後來他們捨棄了,故事很長改天再說)


現在達成了橫向E2E、縱向E2E還有導航E2E

第二個演講是comma的CPO Adeeb Shihadeh演講的Shipping github.com/commaai/openpilot


comma有自己獨特的軟體發送標準


自製PCB產線,這使得comma更能管理產品品質


openpilot的安全性符合三個ISO標準


第三個演講是ML工程師Mitchell Goff介紹Navigate on openpilot


如何教神經網路像人類一樣看懂地圖


從原始地圖產生向量地圖


訓練AI知道要往哪裡去



結果,運作得很不錯!

第四個是研究員Weixing Zhang演講的Human-Machine Cooperation in openpilot


介紹人機協作以及駕駛監控的設計


不需要指定左右駕的全畫幅監控


理解駕駛為何要脫離


依照路況以及場景分類系統跟駕駛互動的狀態(這個GH之前也提過,它們進行了很深入的分析)

第五個是本社團美國總教主George Hotz演講的Three Stories:The Past, Future and Present


comma ai是一家本來不該存在的公司


已經有6個世代產品 + 支援250台以上車款 + 只有25個研發人員 + 軟體開源

全世界的確只有這家公司能創造這種事情,軟體公司但是賣硬體,支援大多數主流車款,公司非常精簡,軟體還無償開源。每一項看起來都不起眼,但是全部組合起來,幾乎要是一種空集合。


比較各個靠廣告靠行銷靠大集團鉅額入資的自動駕駛公司,comma ai募集了1810萬,營收2220萬美元。comma ai是一家已經獲利的公司!


然後發表了全新的C3X,而且歷史新低價1250美元(comma ai做了很多節省成本跟簡化硬體的工作)


C3與C3X的差異

第六個是硬體工程師Robbe Derks介紹How it's made:new hardware comma 3X


經過大量縮減元件跟簡化線路的再設計工程


製程也大量重新優化


一年不良率僅3.9%

第七個演講研究員Vivek Ramesh演講的Can you tune my car?


道路補償的扭矩控制


非線性的扭矩控制


接下來要導入神經網路控制器,這個其實就是DC論壇在討論與研究的NNFF神經網路扭矩控制器,目前測試版表現可圈可點,扭矩會自學習又自己優化,相對於演算法控制器,神經網路控制器適用性更高,真的狠厲害。

第八個是comma的設備首席Greg Hogan介紹comma ai的超級電腦comma supercomputer:ML compute


印象中一般的資料中心(google、Facebook或是Tesla,就是強大的冷房,陰暗又神秘的空間。comma採用了不同的控制方式,它們選擇採用高風流通量的方式來散熱。所以很多電腦專家都笑說comma ai根本不算是資料中心。


他們經過了非常長時間對於風量、溫度、濕度的設計,創造了一個運算能力達到55.88PF的超級電腦,成本僅150萬美元(4500萬新台幣)


訓練機功耗205kW,5088顆CPU,640顆GPU,2.1PB的SSD


總結果是以最新的排名估計,目前是在世界排名175到200名之間的超級電腦

第九個是研究員Yassine Yousfi的Learning a Driving Simulator | ML


這個其實是ML重頭戲,也是自動駕駛的新領域,它可以比擬Tesla想要追求的通用世界模型的訓練機,不過comma ai採用不同的進程,現在展示他們最新的訓練方式DriveGPT


只要掌握轉換器,就可以創造更多元性的場景(這個是transformer其中一個功能)


當你有夠多的image token就可以用類似語言模型的方式,產生動態transfoemer輸出來訓練AI

這就是DriveGPT,這個以後我們會再花時間描述


第九個演講是我們VAG的大家長兼好朋友Jason Young主講的How to port a car


先跟大家寒暄聊天


先研究你的車有沒有機會改裝支援openpilot


你需要工作平台,comma硬體再來是車廠工具,要開發支援車款工具少不了


摸索並認識車子的can通訊


comma ai提供的好用後台管理工具cabana,因為需要帳號配對,所以只有美國原廠的硬體才能用這個功能唷,這也是買原廠工具的加分,他本身除了是ADAS他還是一台專業分析器。


最後就把你學到的can訊號,讓openpilot發送,這樣就可以支援車款啦(講得簡單,做起來難上加難)

以上就是comma con九個演講的簡介,是不是很豐富呢?我們之後來一段一段分別討論吧。


彩蛋

另外公布一個小彩蛋,這次comma con,小弟的推特有上comma con的簡報內容唷,真的是上了電視呢!你猜得出來是在哪個演講提到的嗎?


Mom,I am on TV!!

----------------------------------------------------------------------------------------------------------------

openpilot是一個開源的ai ADAS先進駕駛輔助系統。openpilot已經支援超過200種車型,在台灣能支援了Toyota、Lexus、VW、Skoda等各大品牌車型,不論是Altis、CC、Rav4、Prius、RX、NX、Golf、Tiguan、Passat、Polo、Karoq、Kodiaq、Superb、Q2、Q3等車款都可支援。

而ai話題正夯,openpilot不僅是一個產品,也是一個你可以立刻使用的真實ai產品。我希望這篇文章能夠激發你對openpilot的興趣和好奇心。我認為openpilot是一個非常有前景和創新的項目,它可以改變你對於ADAS的看法和期待。

如果你是第一次來到這邊,如果你想要嘗試或討論openpilot,或者想要加入開發,歡迎你隨時加入下方社群,我都會在第一時間報導與解析Comma ai與openpilot的最新動態,快來一起follow吧!