openpilot每一個版本都具有一定的里程碑，openpilot在0.8版完成了橫向e2e的控制，0.9的則是導入了縱向alpha的實驗性版本。
comma ai在今年2月初時喊出了希望挑戰一趟讓車子開去Tacobell餐廳的路線，過程需要自動上下交流道，駛入市區，紅綠燈停止前進，以及路口轉彎等能力。這意味著openpilot要有接近Tesla FSD的控制能力。
TacoBell的挑戰
隨著新的伺服中心啟用，加上C3專用的超廣角訓練，openpilot迎來了第一步純視覺的縱向控制功能，紅綠燈啟停與過彎減速、靜止車辨識等。雖然還不完美，就像早期的FSD一樣，你可以感受到稍微生澀的駕駛感，但是還是超越了傳統車廠現階段的能力。
預計接下來在0.9.1之後會將Navigation on Openpilot導入，這將會使得openpilot具有目的地的概念，Tacobell的挑戰更能實現。實際上這個taco nav的分支版本已經在測試當中。我們可以從Kumar分享的影片看到導航與oepnpilot的結合讓車子市區轉彎，以及在高速公路上駛出閘道示範NOO的功能。
NOO的開發版本
OP0.9的試驗性模式
OP0.9加入了縱向試驗的alpha版本功能，開啟這個選項之後，讓你的車子可以具備過彎減速與紅綠燈啟停與靜止車辨識的縱向功能，利用了超廣角鏡頭，對於切入或是切出的車輛可以更準確辨識。在這個功能中，ACC設定的速度只是一個上限值，OP會根據場景的變化決定減速與加速。視覺判定的前車跟隨功能也在，可以讓車子與前車保持適當的距離。
跟傳統車廠利用光達與圖資合併應用的模式不同，openpilot完全是視覺透過AI決策，採用e2e標記內化的訓練方式，這使得openpilot更接近於Tesla FSD的表現。下面是一個OP0.9的下匝道減速與紅綠燈啟停的示範。
.@comma_ai openpilot slows down for an exit, stops and resumes at traffic lights. All end-to-end. Released in 0.9 in alpha. Proud moment! (1/2) pic.twitter.com/ikQzP9JVt0
— Yassine Yousfi (@yassineyousfi_) November 22, 2022
但請注意，目前OP0.9的e2e縱向模式仍然是alpha開發版本，就跟FSD非常早期的beta版本一樣，根據comma的說法大約還需要一年的時間讓ai進步，我們期待OP透過更多用戶的上傳與回饋可以讓ai逐步成熟。
新駕駛模型
OP0.9最重要的就是更新了ai模型，由於新伺服器上線(估計算力為全球第75大)，ai訓練是36小時可以生成一個模型，而以前需要一個星期。
新的訊息瓶頸：
在橫向e2e的開發中comma ai利用了KL-divergence loss優化向量空間。現行的橫向與縱向e2e，comma ai採用了新的瓶頸。讓每個畫面保持在700bit的容量之中。(因為是數學函數，我就跳過，開發OP的讀者有需要可以去原文研究)
新的時間匯總器：
過去comma採用GRU深度學習，過去的方式對於應變可能會有延遲的問題，現在採用新的時間匯總，讓決策反應可以跟上每一個畫面的變化。
新的深度投影模擬器：
在過去的橫向e2e的訓練，為了避免深度判斷產生ai作弊的可能性，訓練器會透過場景扭曲變形來測試視覺深度是否會產生偽訊息。目前這個模擬器也更新成新版本，可以同時測是橫向與縱向是否有偽影的誤判狀況。
OP0.9版最重要的訓練就是同時採用了橫向與縱向的雙重訓練，這使得油門剎車與轉向可以同步配合，也就能依靠純視覺產生過彎減速的能力。(在傳統車廠的做法是需要地圖圖資判斷轉彎，再來才是ACC對於速度的減速，這不但需要即時的圖資也需要精準的GPS定位，還需要一套判斷彎道的過彎策略才能達成。)這也是車廠發展自動駕駛一直以來的困難，它們把問題複雜化，人類過彎是依靠視覺，並不需要GPS與圖資，傳統車廠透過疊床架屋的硬體來發展自動駕駛，這實在是令人費解。
進入E2E的駕駛監控
除了model的進化，駕駛監控也走向全畫面E2E的AI模型。要辨識駕駛是否"分心"這是一個難度。傳統的AI作法就是標某些動作與類型為分心，然後讓電腦去尋找符合這些標籤的駕駛動作，但是標籤要如何鉅細靡遺把人類分心精準的定義？
comma ai一直盡量避免採用標記的工作。comma ai的想法是要讓AI分析駕駛是否準備好接管車子作為判斷核心，也就是說它們訓練一個模型來預測駕駛是否X秒內可以恢復控制車子的方法。例如下圖，左側駕駛沒有分析只是抓癢，而右圖駕駛面部向前，但用斜眼與單手滑手機。
根據comma ai的研究，e2e在這種狀況是容易被干擾的，為了處理這些誤報，comma訓練了一個手動標記的輔助器，過濾這些干擾。
自動調整的扭矩控制器
openpilot在0.8.15就開始開發新的扭矩控制器，讓OP在橫向控制中可以更精準地控制車子的方向盤。而目前已經適用於Toyota, Lexus, Hyundai, Kia, and Genesis等車系，VAG的扭矩控制器還在開發與調整當中。
torqued是新的扭矩控制程序，它可以配合胎壓、路面屬性、方向機等等變化加以調整適應，根據DC上的說法，大約是時速30公里以上長跑10分鐘，就可以讓扭矩控制器達到最優化的狀態。
自校正的扭矩控制器未來可以有更多應用，有些車系的扭矩命令並非線性的車款都可以利用這套扭矩控制器來達成最佳的輸出。(期待VAG扭矩控制器可以趕快上線)
comma connect
現在只要開車過程你可以點選左下角的書籤，它可以讓你上傳伺服器的時候替影片標記，你可以回去更快地找到需要重新檢視的錄影檔案。
此外你可以更快速的將影片設定成公開與雲端保留，一個機器最多可以在伺服器上同時雲端保留10段影像。其他雲端行車紀錄檔案大約三天就會被清除。
剪接功能：
另外訂購Prime的用戶可以線上剪接影片，現在剪接後的影片可以公開分享，讓你可以跟車友們更容易討論道路事件或是OP使用情況。
導航：
現在導航可以顯示上一次導航結果，你可以直接開啟原路返回。
搜尋地標的內容也增加了距離顯示
UI界面更新
UI將實驗性模式顯示在右上角，你可以體驗初期版本的comma FSD，而且也導入雙鏡頭畫面切換，時速35以下會採用超廣角鏡頭預覽，時速65以上會進入望遠鏡頭預覽行車影像。
新cabana介面
cabana是官方硬體的重要開發後台工具，現在操作介面也重新設計欄位辨識更清楚。
縱向實驗按鈕
接下來你可以開始安裝openpilot0.9版本，在支援車款中的設定，打開這個實驗性功能，你就能體驗全新的e2e縱向控制了。我也會在之後陸續分享在台灣實際道路上的測試影片。
----------------------------------------------------------------------------------------------------------------
如果你是第一次來到這邊，歡迎加入下方社群，我都會在第一時間報導與解析Comma ai與openpilot的最新動態，快來一起follow吧！
