這次我們來看看官方討論openpilot其他衍伸的開發項目,像是Pixel3的移植進度以及另一個ai產品comma body的開發狀況。comma ai曾經說過,它們是ai公司,不是汽車ADAS公司,輔助駕駛只是他們認為ai可以先跨足而且有趣的項目。面對傳統車廠的競爭與排斥,comma ai依舊開發出亮眼的產品,雖然會讓消費者覺得很跳Tone,但其實因為你被車廠無形中灌輸了不少成見,所以你才會覺得好像很稀奇。但如果你把它看成一家ai開發公司,就會知道為什麼只是一支手機,卻能夠以小博大,挑戰各家車廠的產品。我們今天來看看comma ai其他的開發項目吧~~
GH:已經讓AGNOS在Pixel3開機了,這是第一步。
GH:如果有人真的想移植的話,我們願意為pixel 3的agnos移植提供獎金。安卓系統的問題是我們不再維護它了。
GH:我買了五台,還放在箱子裡。
GH:RB5 SOM(很接近C3)但是它有一個完全不同的連接頭,而且它並不便宜。8GB的LPDDR5大約要60美元。
GH:如果你們讓AGNOS可以在Pixel 3上運行,我們將在上傳修改鏡頭功能。我們已經撤回對安卓系統的維護了。
GH:我甚至可以提供2000美元的獎金。希望的輸出格式是NV12。(如果能在C3相機上運行,則給予獎勵。https://github.com/commaai/openpilot/issues/24189)
GH:NV21輸出跟NV12幾乎差不多。
GH:哦,我不知道你們現在Pixel3移植是基於NDK。可惜的是,任何安卓系統的東西都沒有真正的未來。我們正致力於Linux的開發。
成員:OK,我將嘗試低階(底層)的方式,這將在AGNOS和Android上都能運作。
GH:很棒,我加了一些camera isp的東西。https://github.com/commaai/openpilot/tree/camera_fixups_isp
GH:酷唷,如果你不介意的話,我想問你在哪裡購買845晶片?我們也在建造SOM。
成員:我們也是用845 SOM做原型設計。
(Pixel 3列印外殼)
Zorrobyte:Android NDK可以使用。
GH:Linaro可惜的地方是,"它是一個嵌入式CPU,它需要輸入命令,反過來配置資料處理區塊。由於啟用那顆CPU需要大量的工作,而且缺乏CPU命令的文檔,因此為了支援那顆CPU超出單純支援CAMSS的範圍。" 我們必須啟用該CPU,這就是懸賞獎金的目的。
GH:有沒有人在啟動AGNOS取得了任何進展?
GH:我的意思是,如果你想要平凡的openpilot,當然可以用NDK。但如果你希望它是好用的(並且可以上傳),請使用AGNOS。
就目前來說Pixel3版本的移植已經有可以運作的版本,這個版本如果可以完成,就可以有手機套用3D列印外殼,而且可以使用最新版的openpilot model。
(接下來繼續回到GH答客問內容)
GH:我也喜歡寬版的路徑規劃,為了之後的e2e已經推到mater版
GH:我想像UI上會有在90度轉彎時提供"縮小"的功能,就像我們縮小到廣角鏡頭一樣。(fcam:望遠鏡頭,ecam:廣角鏡頭,dcam:駕駛監控鏡頭。)
Jyoung:torque_control_with_roll進行得如何?
GH:我不清楚,這都是Harald負責的。
GH:我不認為(會太困難),我認為它可以是一個順暢的動畫。這只是顯示,但我們有一些啟發式的方法來檢測"路徑離開框架"時,並觸發縮小成廣角的動畫。然後,有10秒鐘的時間,路徑沒有離開小畫面,就放大回來。
GH:(如果可以像蘋果一樣順暢切換往遠跟廣角)式的,這是就是我想的。
GH:(轉彎的時候產生一個鳥瞰圖)這超級困難,我們可以對路面這麼做,但路上其他車子怎麼辦?(因為一般環景鳥瞰圖物體變形都很大)
GH:我們需要有人在#comma-pencil版上來幫忙塗顏色。現在對於駕駛監控鏡頭(dcam)有一系列畫面組合。如果你想要提交一些,我們會很感激。
GH:提醒大家可以來幫助最新的comma pencil計畫。https://twitter.com/comma_ai/status/1516850987834638337
GH:(C3鏡頭快門是否同步)是的,由panda控制。
GH:(頁面延遲)200ms有可能,降到20ms可能沒辦法。
GH:在經過半張頁面之後所有事情都會是準確的。
GH:comma是20fps(一秒20張畫面)。這幾天我們都在做"毫秒計劃"。現在有很多東西還不穩定,我想用路徑復原的方法來理解滾動快門,這對comma body非常重要。
GH:反應時間是100ms,比人類快兩倍,所以model當然可以依據單張畫面做出行動。
GH:Body是未來種族(人類型態)。
GH:老天爺,我們先做出來了!特斯拉它學我們,他們找了一個真人假扮機器人上台跳舞。
GH:我們真的有body在辦公室移動。
GH:我們會有大發表會當我們做好這個產品的時候。
GH:body很快可以出貨,knee其次,再來是arm。(這兩個都推薦安裝)
Jyoung:忘掉機器人先生的概念,想想它更像是發展一種類似於人類的通用能力,以理解和領航周遭的環境。
你的母親沒有把你生在汽車的駕駛座上;開車不是你開始學習的第一件或唯一一件事。你學會了嘗試咬你的手指發現有點疼,所以你停止了,然後你學會了手眼協調、物體永續性等等。
在直覺層面上,你明白了踩在地毯上通常感覺是好的,而踩在水面上通常不會有同樣的結果。你知道踢空的塑膠食品袋不會受傷,但踢水泥牆會受傷。
經過16年後,你獲得了一個四輪的義肢,使你能夠更快地巡視這個完全相同的世界。
當你用特斯拉的做法,你正盯著你的"人工編碼的功能區"產生了無止盡的長尾問題,正如GeorgeHotz喜歡說的那樣。如果能理解你不需要為那個漂浮的塑料袋而慌忙剎車,還有學會那隻站在路邊15英尺的鹿,你如果向它直直開去,就要發生傻事了。
在你被教會如何開車之前你不懂這些事情,但你理解它們之後就變成你整個世界的一部分。
GH:knee和arm都是附加套件。
GH:想像一塊蛋糕。
GH:無監督是蛋糕,需要監督是糖粉,但強化學習RL(reinforced-learning)是櫻桃。你永遠都不應該"只提取畫素來做RL"
GH:當然,不要只做RL。
GH:(comma body會說話嗎?)肯定的
GH:(可以跟波士頓動力來場比劃嗎?)當我們有手臂跟軟體我們會用拳擊賽來挑戰他們。
GH:(讓comma body開甜甜圈店) comma body已經會平衡了,做甜甜圈像是Lv5
GH:(Lv5是做甜甜圈,那L2是什麼?)遠端臨場機器人。
GH:我的body為comma3提供了一個很好的支架。我就正在做它的開發。我很難過預購如此便宜。
GH:body最終製造成本會更高,大約500鎂,零售會是999鎂以上。
GH:我們花70鎂買平衡板,這些是美國品質的平衡板,零售會改成中國製平衡板。
GH:Body可能可以推動輪椅,你可能需要在韌體裡提高安全扭矩的上限。
GH:目前預購已經有25筆轉成訂單。
GH:我們可能暫停出貨body。因為製造它們很傷,EON賣出120萬鎂,comma two賣出550萬鎂,comma three目前賣出430萬鎂,這是營收不是獲利。
GH:不(body)不需要harness線組。body只需要C3。body有內建OBD-C。body當然是(透過canbus溝通),body就是一台車子。他的指紋像一台車,knee或arm就像更多的ECUs。汽車其實是世界上唯一可運作的消費性機器人。
GH:openpilot 0.8.14會支援body。它甚至會有臉。
GH:它使用8020輪胎很容易安裝,6.5"的輪圈,更像是摩托車。
GH:C3有喇叭,而且它現在修復好了。
GH:呃...喇叭(而已)。你如果要加大輪圈,你必須要更新PID控制。它是可以做到的,平衡車的馬達有足夠的扭力。
GH:(body可以像車子一樣上傳畫面嗎?)當然可以
GH:(body跟其他車一樣)可以用任何的連線或其他OP的東西。
GH:我們首先要訓練的是它的站姿網路。
GH:我們才正開始把body的資料放到駕駛model中訓練。
GH:(body是一台可以在家裡繞來繞去的車子)是,但它比車子更酷,車子在家裡繞來繞去很恐怖。
GH:body可以讓弱小的人把它摔倒在地上。(意味沒有侵略性或傷害性的意思)
GH:(可以讓body自行回家嗎?)喔,這聽起來很難,但是body現在會平衡。你可以用手機app行駛它,我的意思是webpage的app。
GH:body當然需要wifi。不需要擴展塢,只需購買knee和arm,它就能自行使用,軟體也是如此。
GH:(我可以在body上面裝吸塵器嗎?)可以唷,軟體就是如此
GH:我希望大家對body不要有過高的期望,它現在會平衡。
GH:而且它包含了一個高品質遙控器。
GH:駕駛的時候,它上傳你的body的路徑給comma connect(官方伺服器)。
GH:給body三年的時間吧。
GH:3年後,body將變得不可思議。你知道嗎?第一個openpilot非常糟糕,它很少能在6分鐘內不解除,設備用到一半還會重啟。
GH:(使用深度網路)聽起來可執行。上傳body的訓練數據,我們將訓練一個良好的無監督深度網絡,comma3的雙鏡頭在body的距離感應也開始重要了。(DepthNet與PoseNet可以聯合訓練產生更準確的GeoNet)
GH:你可以在發表日購買body。
GH:當openpilot可以錄音時,body也會獲得錄音的能力,這只是個非常非常選配項目,發布日有待討論。
GH:已經有Knee的馬達,可以加裝在body上,5分鐘內可以裝好。
GH:Knee的原型有50呎-磅的扭矩,步進馬達無法達成。