OP097釋出好幾週了,最近剪片速度真的很慢。今天來介紹OpenPilot 0.9.7的更新與 Comma Body 最新進展囉~
OP0.9.7版本的更新
1. 駕駛模型進化:
包含了改善橫向規劃,參考先前預測的曲率,以產生更平滑和連續的預測,轉彎表現更有信心,同時簡化模型架構,提高穩定性和精確性。
2. 模型 Bug 修正:
增加更多訓練上的變化,強化變道與轉彎反應,排除權重衰減的問題,提高整體穩定性。
3. 暫時移除 Navigate on OpenPilot (NOO)
4. 新駕駛員監控 (DM) 模型改進
comma ai利用了ai來修正ai的bug,它們使用本地多模態 LLM 伺服器來檢測訓練數據中的偽陽性,結果提升駕駛監控DM模型的準確度
5. 其他改進:
新的路線命名格式、支援駕駛模式與方控距離連動、導入 Ford 與 Volkswagen 車系的智慧指紋、引入新的常駐程式 "card"
接下來是介紹Comma Body最新進展,由comma ai 實習工程師 Armand介紹了Comma Body的最新研究
1. 他們採用"sim2real"的方法:
先在模擬環境中訓練,再應用到現實。這樣做的優點是,易於收集數據和測試,缺點是難以完全模擬現實世界複雜性。
2. 透過GPT模型訓練:
他們現在辦公室操作comma body,收集了 3小時的真實數據,再訓練一個具有9千萬參數的 vanilla GPT 模型,讓這個模型學習到環境特徵和機器人動態
3. 推論方式:
它們利用三種推論
1.模擬器模式:預測下一個觀察
2.決策模式:推論下一個動作
3.推演模式:由GPT想像未來的一組觀察和動作的組合
4.實際結果:
他們最後使用預測中的第三個動作 (t+2) 並進行補償和控制修正,效果不錯。另外模型是佈署在 RTX3080的電腦上運行,每秒更新 5 次遠端操控comma body。
相關的方法都在github上公開
https://github.com/commaai/bodyjim/blob/master/examples/roam.py
這個實驗展示了使用機器學習教導簡單機器人探索環境的可能性,採用類似人類學習的 end-to-end 方法。
之後我將介紹 comma ai 最新發布的 SGOP (secretgoodopenpilot) 模型,敬請期待~
======工商業配時間======
O2是高階車道維持,它相當於Tesla EAP
C3X是E2E縱向與導航控制,相當於Tesla FSD
你不需要思考自己要裝O2還是C3X,其實你要思考的是你的車子需要一套openpilot。只要你的車是支援車款,都可以不用換車升級你的ADAS,為你的旅程帶來更多的舒適和便利。comma ai的openpilot是真實的ai產品,而且他們在E2E自動駕駛技術領域的領先地位以及不斷創新。讓我們期待未來升級ai模型可以帶來更多的驚喜,一起見證ai科技對我們生活的改變。