經過漫長的等待openpilot終於進入最令人振奮的0.9版了。0.9版的openpilot開始進入縱向控制，因此，帶來了紅綠燈啟停、過彎減速、十字路口減速慢行等功能。我們先來看看comma ai發表的介紹文章吧！

openpilot每一個版本都具有一定的里程碑，openpilot在0.8版完成了橫向e2e的控制，0.9的則是導入了縱向alpha的實驗性版本。

comma ai在今年2月初時喊出了希望挑戰一趟讓車子開去Tacobell餐廳的路線，過程需要自動上下交流道，駛入市區，紅綠燈停止前進，以及路口轉彎等能力。這意味著openpilot要有接近Tesla FSD的控制能力。

TacoBell的挑戰

隨著新的伺服中心啟用，加上C3專用的超廣角訓練，openpilot迎來了第一步純視覺的縱向控制功能，紅綠燈啟停與過彎減速、靜止車辨識等。雖然還不完美，就像早期的FSD一樣，你可以感受到稍微生澀的駕駛感，但是還是超越了傳統車廠現階段的能力。

預計接下來在0.9.1之後會將Navigation on Openpilot導入，這將會使得openpilot具有目的地的概念，Tacobell的挑戰更能實現。實際上這個taco nav的分支版本已經在測試當中。我們可以從Kumar分享的影片看到導航與oepnpilot的結合讓車子市區轉彎，以及在高速公路上駛出閘道示範NOO的功能。

NOO的開發版本

OP0.9的試驗性模式

OP0.9加入了縱向試驗的alpha版本功能，開啟這個選項之後，讓你的車子可以具備過彎減速與紅綠燈啟停與靜止車辨識的縱向功能，利用了超廣角鏡頭，對於切入或是切出的車輛可以更準確辨識。在這個功能中，ACC設定的速度只是一個上限值，OP會根據場景的變化決定減速與加速。視覺判定的前車跟隨功能也在，可以讓車子與前車保持適當的距離。

跟傳統車廠利用光達與圖資合併應用的模式不同，openpilot完全是視覺透過AI決策，採用e2e標記內化的訓練方式，這使得openpilot更接近於Tesla FSD的表現。下面是一個OP0.9的下匝道減速與紅綠燈啟停的示範。

.@comma_ai openpilot slows down for an exit, stops and resumes at traffic lights. All end-to-end. Released in 0.9 in alpha. Proud moment! (1/2) pic.twitter.com/ikQzP9JVt0
— Yassine Yousfi (@yassineyousfi_) November 22, 2022

但請注意，目前OP0.9的e2e縱向模式仍然是alpha開發版本，就跟FSD非常早期的beta版本一樣，根據comma的說法大約還需要一年的時間讓ai進步，我們期待OP透過更多用戶的上傳與回饋可以讓ai逐步成熟。

新駕駛模型

OP0.9最重要的就是更新了ai模型，由於新伺服器上線(估計算力為全球第75大)，ai訓練是36小時可以生成一個模型，而以前需要一個星期。

新的訊息瓶頸：

在橫向e2e的開發中comma ai利用了KL-divergence loss優化向量空間。現行的橫向與縱向e2e，comma ai採用了新的瓶頸。讓每個畫面保持在700bit的容量之中。(因為是數學函數，我就跳過，開發OP的讀者有需要可以去原文研究)

新的時間匯總器：

過去comma採用GRU深度學習，過去的方式對於應變可能會有延遲的問題，現在採用新的時間匯總，讓決策反應可以跟上每一個畫面的變化。

新的深度投影模擬器：

在過去的橫向e2e的訓練，為了避免深度判斷產生ai作弊的可能性，訓練器會透過場景扭曲變形來測試視覺深度是否會產生偽訊息。目前這個模擬器也更新成新版本，可以同時測是橫向與縱向是否有偽影的誤判狀況。

橫向與縱向訓練：

OP0.9版最重要的訓練就是同時採用了橫向與縱向的雙重訓練，這使得油門剎車與轉向可以同步配合，也就能依靠純視覺產生過彎減速的能力。(在傳統車廠的做法是需要地圖圖資判斷轉彎，再來才是ACC對於速度的減速，這不但需要即時的圖資也需要精準的GPS定位，還需要一套判斷彎道的過彎策略才能達成。)這也是車廠發展自動駕駛一直以來的困難，它們把問題複雜化，人類過彎是依靠視覺，並不需要GPS與圖資，傳統車廠透過疊床架屋的硬體來發展自動駕駛，這實在是令人費解。