GeorgeHotz是全球知名的駭客，他在2016年創立了comma ai，在2022年研發openpilot的過程中，為了提高openpilot的效率，他寫了自己的ai引擎tinygrad，結果效能超越SNPE 9%以上。最終2023年9月tinygrad合併於openpilot當中，成為openpilot的演算法引擎。
隨著openpilot團隊越趨成熟，Geohot發現自創的ai引擎超越高通SNPE，他決定離開comma ai的任務，開始專心研發他的tinygrad。於是他新創成立了tiny corp，他寫了一篇展開新冒險的文章。
這邊我們將專注於tiny corp近期的工作。隨著tinygrad的跨平台開發與應用，由於Geohot推崇開源與ai民主化，他認為ai的技術如果被政府或財團掌握，會是算力的壟斷，公民的對抗政府或是財團的能力會弱化，所以他致力於提供消費者可負擔的Tinybox。
openpilot的comma 2或comma 3是邊緣運算，ai的訓練與開發集中在comma ai的資料中心。如果ai民主化能實現，未來的社會樣貌，就是你的手機是你的邊緣裝置與ai助理，晚上回家時你的資料上傳在家裡的tinybox做訓練，你的ai alignment就是發生在你家的客廳，當你的個人訓練資料發生在你的住家，你就不需要上傳給任何隱私給財團、企業或是政府。而tiny corp就是一個提供個人算力服務的公司。它可以提供給個人算力、邊緣設備，同時也可以提供訓練方法，是一個圍繞個人消費ai服務的公司。
這裡附上Tinygrad的應用，涵蓋了Edge Ai跟Home Ai的整合
Tinybox的誕生
原本GH要開發Nvidia的平台，但是nvidia的4090驅動在ai運算支援較差，H100或是Blackwell平台又不是一般消費者能夠入手。
Nvidia在驅動程式中關閉RTX4090的P2P功能，讓消費顯卡AI訓練效能降低。被不少人公幹。
於是在2023年4月，GeorgeHotz在自己的youtube公開了Tinybox原形的實作，他買了ASRock的主機板跟AMD 7900XTX的顯示卡。
上面就是GH直播的影片，他自己開箱安裝主板，然後組裝三張AMD 7900XTX主機板。可開機之後，他就開始專心研發AMD平台的Tinygrad。
在Nvidia壟斷Ai算力的這個時代，如果把AMD消費等級的7900XTX開發成Ai算力晶片，不但價格親民而且可以讓Ai算力更加普及。只可惜一個月之後，AMD顯卡驅動的Bug就讓7900XTX開發進度卡關。
於是GeorgeHotz反應這個問題給AMD，AMD團隊就嘗試複製一樣的硬體一起Debug。AMD因為驅動程式穩定性較差，終究還是沒有解決這個問題。GeorgeHotz就嘗試聯絡CEO LisaSu。在2023年6月，LisaSu也在推特上確認雙方有接觸並嘗試要解決AMD消費級顯卡在Ai訓練上會遇到的問題。
AMD團隊後來發了一包特製版本的驅動給GeorgeHotz使用，但GH說，他不要AMD送他VIP的專屬驅動程式。他希望AMD可以開源驅動程式。
"開源"對於GH來說是很平常的事情，但是對於老派作風的公司是難上加難。特別是對於這些IC設計公司，驅動程式的開源一方面會降低公司技術保密，一另方面還讓外部人揭露自己多差。總之GH的提議對於任何一家公司來說，都是很大的挑戰。
Tinybox的軟硬體設計
儘管顯卡問題未解，但是Tinybox的設計仍然如火如荼的開展。GH公布了一張Tinybox的原型機。
三張AMD 7900XTX顯卡方案，1500W供電，常溫可用的消費級AI訓練機，他以此架構繼續開發Tinygrad。
2023年11月GH公布了一張Tinybox的開發照片，一堆7900 XTX顯卡，角落有Tinybox的機殼。
為什麼GH有資格銷售Tinybox？因為他創立的comma ai有自建自用的資料中心，他們有大量訓練跟開發訓練伺服器的經驗，把這個大型設備的知識轉化成消費應用，正是達成Ai民主化的手段之一。
這是Tinybox兩個版本的機殼，兩台都被鎖在一般機櫃上，標準的機櫃rack是48U，Tinybox高度是12U，一台的功率是3000W，一個機櫃最多可以塞四台Tinybox。
兩台Tinybox之間的傳輸速度可以達到196Gb/s，這樣才能達到跨主機的Ai平行運算。
這是Tinygrad的另一個開發專案，在三星Z fold 5手機上刷成ubuntu運行tinygrad，在Tinygrad生態中成為最小的Ai訓練單元。
特斯拉前AI首席AJ arpathy都在推特說tinygrad是一個傳奇
Zen晶片大神Jim Keller也關注GH花7小時直播解AMD的驅動程式的bug
Jim Keller推崇說tinygrad的Stable Diffusion只需要600行，完全不用pyTorch，總行數658，扣除呼叫跟說明，只有600行。內行人都知道，程式碼越精簡，能力就越強。
今年初GeorgeHotz又跟AMD與LisaSu溝通開會，由於Tinybox預計四月出貨，他一直希望說服AMD開源。LisaSu說他們會內部討論。一個星期之後，LisaSu很有禮貌地拒絕這個提議。我個人是很不意外的，除非股東跟董事會要求，要不然要一家閉源的公司轉成開源幾乎是天方夜譚。
總之，這種軟釘子難不倒天才駭客GH，他調查研究過各種狀況後，他決定要自己解AMD 7900XTX的顯卡問題。雖然有點不穩定，經過各種軟體調教，但是他認為已經可以達到發貨的狀態。
最後Tinybox的規格確定，會有紅版跟綠版，6張AMD7900XTX方案738 TFLOPS賣15K美金，跟6張Nvidia RTX 4090方案991 TFLOPS賣25K美金。
如果你問我，我一定選AMD方案，因為15K換738TFLOPS根本超划算，反正AI訓練本來就可以中斷再訓練，驅動程式不穩導致的崩潰，不會是太大的問題。再來是Nvidia方案，對於那些買不起A100或是H100的實驗室或中小企業來說，991 TFLOPS也是非常強大的方案。
這就是即將上市的Tinybox的故事。
======工商業配時間======
O2是高階車道維持，它相當於Tesla EAP
C3X是E2E縱向與導航控制，相當於Tesla FSD
你不需要思考自己要裝O2還是C3X，其實你要思考的是你的車子需要一套openpilot。只要你的車是支援車款，都可以不用換車升級你的ADAS，為你的旅程帶來更多的舒適和便利。comma ai的openpilot是真實的ai產品，而且他們在E2E自動駕駛技術領域的領先地位以及不斷創新。讓我們期待未來升級ai模型可以帶來更多的驚喜，一起見證ai科技對我們生活的改變。
看完以後我想要買新O2啦！!
看完以後我還是想要買美國原廠C3X啦！！
