網頁

2022-07-04

[openpilot] 2022/04/20 GH答客問 Pixel3移植與comma body的發展

喜歡本文請押讚好,如果跳出確認視窗,要再押一次"確認"才能成功給我一個讚唷~

 


這次我們來看看官方討論openpilot其他衍伸的開發項目,像是Pixel3的移植進度以及另一個ai產品comma body的開發狀況。comma ai曾經說過,它們是ai公司,不是汽車ADAS公司,輔助駕駛只是他們認為ai可以先跨足而且有趣的項目。面對傳統車廠的競爭與排斥,comma ai依舊開發出亮眼的產品,雖然會讓消費者覺得很跳Tone,但其實因為你被車廠無形中灌輸了不少成見,所以你才會覺得好像很稀奇。但如果你把它看成一家ai開發公司,就會知道為什麼只是一支手機,卻能夠以小博大,挑戰各家車廠的產品。我們今天來看看comma ai其他的開發項目吧~~





GH:已經讓AGNOS在Pixel3開機了,這是第一步。

GH:如果有人真的想移植的話,我們願意為pixel 3的agnos移植提供獎金。安卓系統的問題是我們不再維護它了。

GH:我買了五台,還放在箱子裡。

GH:RB5 SOM(很接近C3)但是它有一個完全不同的連接頭,而且它並不便宜。8GB的LPDDR5大約要60美元。

GH:如果你們讓AGNOS可以在Pixel 3上運行,我們將在上傳修改鏡頭功能。我們已經撤回對安卓系統的維護了。

GH:我甚至可以提供2000美元的獎金。希望的輸出格式是NV12。(如果能在C3相機上運行,則給予獎勵。https://github.com/commaai/openpilot/issues/24189)

GH:NV21輸出跟NV12幾乎差不多。


GH:哦,我不知道你們現在Pixel3移植是基於NDK。可惜的是,任何安卓系統的東西都沒有真正的未來。我們正致力於Linux的開發。

成員:OK,我將嘗試低階(底層)的方式,這將在AGNOS和Android上都能運作。

GH:很棒,我加了一些camera isp的東西。https://github.com/commaai/openpilot/tree/camera_fixups_isp

GH:酷唷,如果你不介意的話,我想問你在哪裡購買845晶片?我們也在建造SOM。

成員:我們也是用845 SOM做原型設計。


(Pixel 3列印外殼)


Zorrobyte:Android NDK可以使用。


GH:Linaro可惜的地方是,"它是一個嵌入式CPU,它需要輸入命令,反過來配置資料處理區塊。由於啟用那顆CPU需要大量的工作,而且缺乏CPU命令的文檔,因此為了支援那顆CPU超出單純支援CAMSS的範圍。" 我們必須啟用該CPU,這就是懸賞獎金的目的。


GH:有沒有人在啟動AGNOS取得了任何進展?

GH:我的意思是,如果你想要平凡的openpilot,當然可以用NDK。但如果你希望它是好用的(並且可以上傳),請使用AGNOS。


就目前來說Pixel3版本的移植已經有可以運作的版本,這個版本如果可以完成,就可以有手機套用3D列印外殼,而且可以使用最新版的openpilot model。

(接下來繼續回到GH答客問內容)


GH:我也喜歡寬版的路徑規劃,為了之後的e2e已經推到mater版
現在是2米,比大多數汽車都寬一點。

GH:以後會做到1.8米寬,honda civic的寬度。

GH:是的,路徑跟實車寬度一樣是很棒的。
準備要在用戶界面增加一張的延遲,以便於繪制模型的運行路徑。我想讓這個路徑貼在道路上

GH:將來會是一些e2e縱向的東西,但首先我們要去掉e2e 橫向 toggle。


GH:我想像UI上會有在90度轉彎時提供"縮小"的功能,就像我們縮小到廣角鏡頭一樣。(fcam:望遠鏡頭,ecam:廣角鏡頭,dcam:駕駛監控鏡頭。)

Jyoung:torque_control_with_roll進行得如何?

GH:我不清楚,這都是Harald負責的。

GH:我不認為(會太困難),我認為它可以是一個順暢的動畫。這只是顯示,但我們有一些啟發式的方法來檢測"路徑離開框架"時,並觸發縮小成廣角的動畫。然後,有10秒鐘的時間,路徑沒有離開小畫面,就放大回來。


GH:(如果可以像蘋果一樣順暢切換往遠跟廣角)式的,這是就是我想的。

GH:(轉彎的時候產生一個鳥瞰圖)這超級困難,我們可以對路面這麼做,但路上其他車子怎麼辦?(因為一般環景鳥瞰圖物體變形都很大)


GH:我們需要有人在#comma-pencil版上來幫忙塗顏色。現在對於駕駛監控鏡頭(dcam)有一系列畫面組合。如果你想要提交一些,我們會很感激。


GH:提醒大家可以來幫助最新的comma pencil計畫。https://twitter.com/comma_ai/status/1516850987834638337
我們特別需要有人在車裡的圖片,如果你不知道如何提交PR,只需在comma-pencil討論區中貼上鏈接圖片即可,為最幹凈的ML數據集之一做出協助。

GH:是的,comma con和辦公室搬遷一樣費力。
是的,我們今年沒有什麽要(在comma con)宣布!我們可能參加2023年的CES上宣布。
但我們沒有5鏡頭的硬體版本。下一個硬件將是非常無聊的,並不真正值得整個comma con。
除了body以外,hw-body討論區是非常令人興奮的,body需要comma 3。


GH:(C3鏡頭快門是否同步)是的,由panda控制。

GH:傳感器上有一個GPIO,前面兩個鏡頭是電子連接的。熊貓韌體在幾個奈秒內啟動了dcam的傳感器。

GH:(model在奈米秒內處理?)哈,model才不在乎。
其實是50ms的滾動快門(以後會是25ms https://github.com/commaai/openpilot/pull/24190)


GH:(頁面延遲)200ms有可能,降到20ms可能沒辦法。

GH:在經過半張頁面之後所有事情都會是準確的。

GH:comma是20fps(一秒20張畫面)。這幾天我們都在做"毫秒計劃"。現在有很多東西還不穩定,我想用路徑復原的方法來理解滾動快門,這對comma body非常重要。


GH:反應時間是100ms,比人類快兩倍,所以model當然可以依據單張畫面做出行動。

GH:Body是未來種族(人類型態)。

GH:老天爺,我們先做出來了!特斯拉它學我們,他們找了一個真人假扮機器人上台跳舞。


GH:我們真的有body在辦公室移動。

GH:我們會有大發表會當我們做好這個產品的時候。

GH:body很快可以出貨,knee其次,再來是arm。(這兩個都推薦安裝)

Jyoung:忘掉機器人先生的概念,想想它更像是發展一種類似於人類的通用能力,以理解和領航周遭的環境。

你的母親沒有把你生在汽車的駕駛座上;開車不是你開始學習的第一件或唯一一件事。你學會了嘗試咬你的手指發現有點疼,所以你停止了,然後你學會了手眼協調、物體永續性等等。

在直覺層面上,你明白了踩在地毯上通常感覺是好的,而踩在水面上通常不會有同樣的結果。你知道踢空的塑膠食品袋不會受傷,但踢水泥牆會受傷。

經過16年後,你獲得了一個四輪的義肢,使你能夠更快地巡視這個完全相同的世界。 

當你用特斯拉的做法,你正盯著你的"人工編碼的功能區"產生了無止盡的長尾問題,正如GeorgeHotz喜歡說的那樣。如果能理解你不需要為那個漂浮的塑料袋而慌忙剎車,還有學會那隻站在路邊15英尺的鹿,你如果向它直直開去,就要發生傻事了。

在你被教會如何開車之前你不懂這些事情,但你理解它們之後就變成你整個世界的一部分。

GH:knee和arm都是附加套件。


GH:想像一塊蛋糕。

GH:無監督是蛋糕,需要監督是糖粉,但強化學習RL(reinforced-learning)是櫻桃。你永遠都不應該"只提取畫素來做RL"

GH:當然,不要只做RL。

GH:(comma body會說話嗎?)肯定的

GH:(可以跟波士頓動力來場比劃嗎?)當我們有手臂跟軟體我們會用拳擊賽來挑戰他們。

GH:(讓comma body開甜甜圈店) comma body已經會平衡了,做甜甜圈像是Lv5

GH:(Lv5是做甜甜圈,那L2是什麼?)遠端臨場機器人。



GH:(我買了我的comma body) 喔,真香。我們有給你出貨日了嗎?

GH:我的body為comma3提供了一個很好的支架。我就正在做它的開發。我很難過預購如此便宜。

GH:body最終製造成本會更高,大約500鎂,零售會是999鎂以上。

GH:我們花70鎂買平衡板,這些是美國品質的平衡板,零售會改成中國製平衡板。

GH:Body可能可以推動輪椅,你可能需要在韌體裡提高安全扭矩的上限。

GH:目前預購已經有25筆轉成訂單。


GH:我們可能暫停出貨body。因為製造它們很傷,EON賣出120萬鎂,comma two賣出550萬鎂,comma three目前賣出430萬鎂,這是營收不是獲利。

GH:不(body)不需要harness線組。body只需要C3。body有內建OBD-C。body當然是(透過canbus溝通),body就是一台車子。他的指紋像一台車,knee或arm就像更多的ECUs。汽車其實是世界上唯一可運作的消費性機器人。

GH:openpilot 0.8.14會支援body。它甚至會有臉。


GH:它使用8020輪胎很容易安裝,6.5"的輪圈,更像是摩托車。

GH:C3有喇叭,而且它現在修復好了。

GH:呃...喇叭(而已)。你如果要加大輪圈,你必須要更新PID控制。它是可以做到的,平衡車的馬達有足夠的扭力。

GH:(body可以像車子一樣上傳畫面嗎?)當然可以

GH:(body跟其他車一樣)可以用任何的連線或其他OP的東西。

GH:我們首先要訓練的是它的站姿網路。

GH:我們才正開始把body的資料放到駕駛model中訓練。


GH:(body是一台可以在家裡繞來繞去的車子)是,但它比車子更酷,車子在家裡繞來繞去很恐怖。

GH:body可以讓弱小的人把它摔倒在地上。(意味沒有侵略性或傷害性的意思)

GH:(可以讓body自行回家嗎?)喔,這聽起來很難,但是body現在會平衡。你可以用手機app行駛它,我的意思是webpage的app。


GH:body當然需要wifi。不需要擴展塢,只需購買knee和arm,它就能自行使用,軟體也是如此。

GH:(我可以在body上面裝吸塵器嗎?)可以唷,軟體就是如此

GH:我希望大家對body不要有過高的期望,它現在會平衡。

GH:而且它包含了一個高品質遙控器。

GH:駕駛的時候,它上傳你的body的路徑給comma connect(官方伺服器)。

GH:給body三年的時間吧。

GH:3年後,body將變得不可思議。你知道嗎?第一個openpilot非常糟糕,它很少能在6分鐘內不解除,設備用到一半還會重啟。


GH:(使用深度網路)聽起來可執行。上傳body的訓練數據,我們將訓練一個良好的無監督深度網絡,comma3的雙鏡頭在body的距離感應也開始重要了。(DepthNet與PoseNet可以聯合訓練產生更準確的GeoNet)

GH:你可以在發表日購買body。

GH:當openpilot可以錄音時,body也會獲得錄音的能力,這只是個非常非常選配項目,發布日有待討論。

GH:已經有Knee的馬達,可以加裝在body上,5分鐘內可以裝好。

GH:Knee的原型有50呎-磅的扭矩,步進馬達無法達成。


----------------------------------------------------------------------------------------------------------------

如果你是第一次來到這邊,歡迎加入下方社群,我都會在第一時間報導與解析Comma ai與openpilot的最新動態,快來一起follow吧!