GIGABYTE 與輝達合作的 AI TOP ATOM 在小巧的機身中提供 1 Peta FLOP 運算效能,可以進行各類的 AI 應用與程式開發,也支援執行豐富的 AI 工具提高工作效率。GIGABYTE 與輝達合作的 AI TOP ATOM 在小巧的機身中提供 1 Peta FLOP 運算效能,可以進行各類的 AI 應用與程式開發,也支援執行豐富的 AI 工具提高工作效率。 手掌上的超級電腦 GIGABYTE AI TOP ATOM 搭載輝達 (NVIDIA) 最新專為 AI 應用設計的 NVIDIA GB10 Grace Blackwell 超級晶片,它等於是縮小版的 GB200 資料中心 AI 晶片,具有 20 個 CPU 核心,以及 NVIDIA Blackwell 架構 GPU,提供 PetaFLOP 級運算效能,相當適合應用於學術機構的教學與研究,以及 AI 程式開發者等情境。 它最厲害的地方就是運算架構與輝達的顯示卡、資料中心 AI 晶片相同,因此能夠相容並執行對應的 AI 應用程式,讓用戶可以先在 AI TOP ATOM 上嘗試各種創意發想,並開發為實際程式,然後在本地測試之後,發表到個人電腦、工作站或是雲端主機執行,完美滿足本地與雲端 AI 開發需求,開啟無限 AI 潛能。 AI TOP ATOM 的另一個特色就是搭載 128GB 的 LPDDR5x 高容量一致性統一記憶體(Unified Memory),頻寬高達 256-bit,傳輸速度更是可以達到 273 GB/s,能夠更快載入 AI 模型與程式,也對效能有所幫助,而如此高的記憶體容量也讓它能夠支援高達 200B(2,000 億)組參數的模型,遠遠高於輝達旗艦顯示卡 GeForce RTX 5090 的 32GB 所能支援的模型,賦予用戶更多元的模型選擇。 為了方便儲存 AI 模型與訓練資料,AI TOP ATOM 最高可以選配 4TB PCIe Gen 5 固態硬碟,藉由海量儲存空間以舒解日益增加的檔案數量,讓用戶可以完全施展拳腳,準備各種 AI 模型來滿足不同痛點的需求,同時也方便搭配各種自有資料來進行模型微調,或是準備個人專屬的 RAG 資料庫,以在推論的時候達到精準客製化的效果。 GIGABYTE 已在 AI 領域投入相當多的心力,並且推出獨家 AI TOP Utility 應用軟體,提供圖型化的 AI 控制中心、儀表板,讓使用者可以更明確設定與掌握電腦的工作狀態,同時也簡化了部署 AI 模型與應用程式的手續。 AI TOP ATOM 不但支援完整的 NVIDIA AI 軟體堆疊,同時也獨家內建 GIGABYTE AI TOP Utility,使用者只需點幾下滑鼠就能快速完成本地端訓練、推論與部署,這點我們等一下會在後面進行實際操作展示。 ▲ GIGABYTE AI TOP ATOM將 AI 超級電腦濃縮到你的桌面,適合 AI 開發者、愛好者、學生、研究人員與數據分析師使用。(圖片來源:技嘉科技) ▲ GIGABYTE AI TOP ATOM 搭載輝 GB10 Grace Blackwell 超級晶片,相同硬體架構帶來的相容性,讓它能夠與 AI 超級電腦執行相同的 AI 應用程式。(圖片來源:技嘉科技) ▲ 如果覺得一台 AI TOP ATOM 的算力或 128GB 記憶體不敷使用,還可串連兩台擴充算力。(圖片來源:技嘉科技) AI TOP ATOM 開箱、啟動! GIGABYTE AI TOP ATOM 的外觀真的很小巧精致,主機的體積只有 1 公升,重量也只有 1.2 公斤,內部安裝高速 PCIe Gen 5 固態硬碟,也已經預先安裝 NVIDIA DGX™ OS 作業系統,只需接上電源開機就可開始使用。 AI TOP ATOM 的擴充埠都放置於主機後方,具有 3 組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 Type C 型式的電源端子,它還有一個 HDMI 2.1a 端子可以連接螢幕,還有速度可達 10 GbE 的 RJ-45 連接埠,也提供 Wi-Fi 7 和藍牙 5.4 等無線網路功能。 需要特別強調的是 AI TOP ATOM 具有一套 NVIDIA ConnectX-7 智慧網路介面卡,提供的高頻寬、低延遲的資料傳輸,更厲害的是還可以將兩台 AI TOP ATOM 系統可直接互連,成倍擴展運算推論能力,讓原本只支援 200B 參數模型提升為能運行 405B 參數模型。 小編把 AI TOP ATOM 接上電源與螢幕後,第一次開機需要進行簡單的作業系統初始化設定,並且建立使用者帳號,之後就可以進入 NVIDIA DGX™ OS 作業系統的桌面環境,提供容易操作的圖型化介面。 不過這邊有一個可以改進的小地方,就是系統並沒有內建 AI TOP Utility,需要到官方網站手動下載並安裝。還好安裝方式很簡單,下載 DEB 格式安裝包並執行之後,過程只需要輸入電腦的使用者密碼,不需要輸入任何文字指令就會自動完成安裝工作。 接著我們可以在開始選單裡面找到 AI TOP Utility 的捷徑,打開之後就可以看到 AI TOP Utility 儀表板,從這邊監控系統狀態,也能夠在下載專區輸入 Hugging Face 的存取令牌(token),就能直接選擇想要使用的 AI 模型,以備在後續執行 AI 推論的應用程式。 ▲ AI TOP ATOM 的包裝相當有設計感,黑色主體搭配亮面的曲線散發出專業的科技感。 ▲ 打開黑色包裝後,內裏呈現技嘉科技的主題藍色。 ▲ 包裝內容物主要具有 AI TOP ATOM 主機以及 240 瓦電源供應器。 ▲ AI TOP ATOM 主機正面的風格與包裝盒相呼應,都以黑色曲線裝飾。 ▲ 主機背面透氣口的部分也是採用黑色曲線做為視覺風格。 ▲ AI TOP ATOM 有一個電源端子,三組組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 HDMI 2.1a 端子、10 GbE RJ-45 連接埠,以及一套 NVIDIA ConnectX-7 智慧網路介面卡。 ▲ 主機的下方用兩條防滑條墊墊高,有助於散熱。 ▲ 第一次開機的時候會出現歡迎畫面,介面與一般 Windows 電腦相當接近,可以使用鍵盤滑鼠操作。 ▲ 在語言方面可以選擇繁體中文,降低語言隔閡的門檻。 ▲ 開機完成後我們先到技嘉科技的官方網站下載 AI TOP Utility。 ▲ 在 AI TOP 專區找到AI TOP ATOM 版本的 AI TOP Utility 下載選項。 ▲ 解壓縮下載的檔案之後執行 .deb 格式的安裝包。 ▲ 打開之後就會看到安裝包的資訊,這邊當然是選擇安裝。 ▲ 之後只需要輸入電腦的使用者密碼,程式會自動安裝。 ▲ 安裝完成就可以打開 AI TOP Utility,進入後可以看到 CPU、GPU、記憶體使用率等系統資訊。 ▲ 在 AI TOP Utility 裡面的下載專區可以看到列出支援的 AI 模型。 ▲ 我們可以自由選擇想要使用的模型,程式就會將所有相關檔案下載到指定的資料夾,不需一一手動下載。 架設聊天機器人全攻略 AI TOP ATOM 的特色之一就是完整支援 NVIDIA AI 軟體堆疊,並具有獨家 GIGABYTE AI TOP Utility,方便開發者能在本地端快速完成訓練、推論與部署。 專業使用者可以在 AI TOP ATOM 上開發 AI 模型或是微調模型,親自進行 AI 原型製作,或是使用自己的資料強化預訓練模型,來打造專屬的解決方案,舉例來說,企業可以開發能夠理解自家產品特色與細節的聊天機器人,而且所有資料都儲存在地端,在本地運算,能夠確保資料隱私,數據科學家也可以利用 AI TOP ATOM 在地端用數據自動化流程完成工作,完成探索性分析、特徵工程到預測建模。 AI TOP ATOM 能進行快速且安全的推論,方便用於測試、評估或運行個人 AI 助理,也是很理想的邊緣運算裝置,適合用於機器人、電腦視覺、多模態等應用。 小編也利用 AI TOP Utility 嘗試架設 ChatGPT AI 聊天機器人,還有進行 FLUX AI 圖像生成,操作的方式相當簡單,只需點幾下滑鼠就可以開始使用,比起從零開始手動設定簡單很多。 小編也特別測試 GPT-OSS-120B 這款參數量高達 1200 億個參數的超大模型,所以需要更多的 GPU 記憶體才能運行推論模型,實測的時候發現佔用接近 70GB 的記憶體,如果使用 RTX 系列的顯示卡的話,至少需要串聯三張 GeForce RTX 5090 才能提供足夠 GPU 記憶體,不但佔用的空間更多,耗電量也有相對增長,而且價格也不是很便宜,充分顯示了 AI TOP ATOM 的優勢。 ▲ 使用 AI 聊天機器人的方式相當簡單,我們先選擇左方功能表的 Inference,然後載入剛才下載的 AI 模型。 ▲ 按下 Start Chat 之後,就可以在下面的對話框輸入想要對談的內容。 ▲ 先試一下參數量比較小的 Llama-3-8B 模型,我們問它要怎麼製做夏威夷比薩,它可以瞭解中文提問,但是使用英文回答。 ▲ 在回答結束之後,訊息後方會顯示總共生成 468 組詞元,速度為每秒 4.12 個。 ▲ 在執行過程中我們切換到儀表板,當時記憶體的使用量已經達到 38.59GB,雖然超過 GeForce RTX 5090 的容量,但對 AI TOP ATOM 來說還是從從容容。 ▲ 接下來我們切換到參數量極大的 GPT-OSS-120B模型,一樣用中文問它要怎麼製做夏威夷比薩。 ▲ GPT-OSS-120B 有思維鏈的設計,會思考跟分析我們輸入的問題,它發現我們是用中文提問,但使用英文思考。 ▲ 接下來回應問題的時候,則會使用中文,並且回答相當仔細,內容的知識含量遠高於 Llama-3-8B。 ▲ GPT-OSS-120B 真的很人性化,連要如何裝飾還有搭配的飲品都能夠娓娓道來。 ▲ 最後我們可以看到它總共生成 2230 組詞元,速度為每秒 4.4 個。 ▲ GPT-OSS-120B 吃掉了 69.05GB 的記憶體,但是對 AI TOP ATOM 來說依然游刃有餘,總量達到 128GB 的統一架構記憶體完全發揮了它的價值,能夠支援參數量更多的模型,提升回應答案的內容與準確度。 AI 圖像生成超簡單 AI 圖像生成對 AI TOP ATOM 來說當然也是小菜一碟,透過 AI TOP Utility 免設定就能搞定所有準備步驟,只須輸入提示詞就能產生逼真動人的圖片。 我們用 FLUX.1-dev 做為範例,在 AI TOP Utility 裡面下載模型之後,到左方功能表的 Inference 選擇文生圖功能與模型,就能輕輕鬆鬆開始玩文生圖。 ▲ 在圖像生成的工作時,我們將推論的類型切換為文生圖,然後選擇 FLUX.1-dev 模型。 ▲ 我想要它生成一個沿著山坡走下來穿著洋裝與草帽的女孩。 ▲ 出來的圖片品質很好,有接近照片的感覺,光影也十分自然。 ▲ 我們也試一下讓它產生看著程式碼的工程師。 ▲ 得到的圖片品質依然很好,都有達成提出需求的重點,簡簡單單就可以取得我們想要的圖片。 AI 開發的入門基石 AI TOP ATOM 最大的特色就是同時具有 NVIDIA 官方提供的 AI 開發參考資料、教學資源,還有技嘉科技獨家提供的 AI TOP Utility,等於可有享用雙邊的資源,協助你從零開始自行學習各種 AI 開發的知識以及操作技巧。 使用者可以先在 AI TOP Utility 裡面能熟悉使用現成 AI 模型,或是當作超級 AIPC、AI 助理使用。在這之後就可以往進階班前進,學習如何微調模型或是使用 RAG 改善準確度,或是嘗試將模型量化為 f32, f16, bf16, 8-bit 等等模式,加快執行速度,此外還可以從 Build NVIDIA 網站下載 AI 軟體堆疊、工具、框架、函式庫和預先訓練的模型,或是參考豐富的教學資源,進一步強化自己的 AI 技能以及開發的程式。 ▲ 探索 NVIDIA Playbook 模型,設定與執行常用 AI 工作流程皆有詳細說明。 當在地端完成開發與測試工作之後,還可以將程式部署至資料中心或雲端上來使用,打造快速的開發流程。 補充資訊Build NVIDIA 網站連結:https://build.nvidia.com/spark 加入T客邦Facebook粉絲團GIGABYTE 與輝達合作的 AI TOP ATOM 在小巧的機身中提供 1 Peta FLOP 運算效能,可以進行各類的 AI 應用與程式開發,也支援執行豐富的 AI 工具提高工作效率。GIGABYTE 與輝達合作的 AI TOP ATOM 在小巧的機身中提供 1 Peta FLOP 運算效能,可以進行各類的 AI 應用與程式開發,也支援執行豐富的 AI 工具提高工作效率。 手掌上的超級電腦 GIGABYTE AI TOP ATOM 搭載輝達 (NVIDIA) 最新專為 AI 應用設計的 NVIDIA GB10 Grace Blackwell 超級晶片,它等於是縮小版的 GB200 資料中心 AI 晶片,具有 20 個 CPU 核心,以及 NVIDIA Blackwell 架構 GPU,提供 PetaFLOP 級運算效能,相當適合應用於學術機構的教學與研究,以及 AI 程式開發者等情境。 它最厲害的地方就是運算架構與輝達的顯示卡、資料中心 AI 晶片相同,因此能夠相容並執行對應的 AI 應用程式,讓用戶可以先在 AI TOP ATOM 上嘗試各種創意發想,並開發為實際程式,然後在本地測試之後,發表到個人電腦、工作站或是雲端主機執行,完美滿足本地與雲端 AI 開發需求,開啟無限 AI 潛能。 AI TOP ATOM 的另一個特色就是搭載 128GB 的 LPDDR5x 高容量一致性統一記憶體(Unified Memory),頻寬高達 256-bit,傳輸速度更是可以達到 273 GB/s,能夠更快載入 AI 模型與程式,也對效能有所幫助,而如此高的記憶體容量也讓它能夠支援高達 200B(2,000 億)組參數的模型,遠遠高於輝達旗艦顯示卡 GeForce RTX 5090 的 32GB 所能支援的模型,賦予用戶更多元的模型選擇。 為了方便儲存 AI 模型與訓練資料,AI TOP ATOM 最高可以選配 4TB PCIe Gen 5 固態硬碟,藉由海量儲存空間以舒解日益增加的檔案數量,讓用戶可以完全施展拳腳,準備各種 AI 模型來滿足不同痛點的需求,同時也方便搭配各種自有資料來進行模型微調,或是準備個人專屬的 RAG 資料庫,以在推論的時候達到精準客製化的效果。 GIGABYTE 已在 AI 領域投入相當多的心力,並且推出獨家 AI TOP Utility 應用軟體,提供圖型化的 AI 控制中心、儀表板,讓使用者可以更明確設定與掌握電腦的工作狀態,同時也簡化了部署 AI 模型與應用程式的手續。 AI TOP ATOM 不但支援完整的 NVIDIA AI 軟體堆疊,同時也獨家內建 GIGABYTE AI TOP Utility,使用者只需點幾下滑鼠就能快速完成本地端訓練、推論與部署,這點我們等一下會在後面進行實際操作展示。 ▲ GIGABYTE AI TOP ATOM將 AI 超級電腦濃縮到你的桌面,適合 AI 開發者、愛好者、學生、研究人員與數據分析師使用。(圖片來源:技嘉科技) ▲ GIGABYTE AI TOP ATOM 搭載輝 GB10 Grace Blackwell 超級晶片,相同硬體架構帶來的相容性,讓它能夠與 AI 超級電腦執行相同的 AI 應用程式。(圖片來源:技嘉科技) ▲ 如果覺得一台 AI TOP ATOM 的算力或 128GB 記憶體不敷使用,還可串連兩台擴充算力。(圖片來源:技嘉科技) AI TOP ATOM 開箱、啟動! GIGABYTE AI TOP ATOM 的外觀真的很小巧精致,主機的體積只有 1 公升,重量也只有 1.2 公斤,內部安裝高速 PCIe Gen 5 固態硬碟,也已經預先安裝 NVIDIA DGX™ OS 作業系統,只需接上電源開機就可開始使用。 AI TOP ATOM 的擴充埠都放置於主機後方,具有 3 組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 Type C 型式的電源端子,它還有一個 HDMI 2.1a 端子可以連接螢幕,還有速度可達 10 GbE 的 RJ-45 連接埠,也提供 Wi-Fi 7 和藍牙 5.4 等無線網路功能。 需要特別強調的是 AI TOP ATOM 具有一套 NVIDIA ConnectX-7 智慧網路介面卡,提供的高頻寬、低延遲的資料傳輸,更厲害的是還可以將兩台 AI TOP ATOM 系統可直接互連,成倍擴展運算推論能力,讓原本只支援 200B 參數模型提升為能運行 405B 參數模型。 小編把 AI TOP ATOM 接上電源與螢幕後,第一次開機需要進行簡單的作業系統初始化設定,並且建立使用者帳號,之後就可以進入 NVIDIA DGX™ OS 作業系統的桌面環境,提供容易操作的圖型化介面。 不過這邊有一個可以改進的小地方,就是系統並沒有內建 AI TOP Utility,需要到官方網站手動下載並安裝。還好安裝方式很簡單,下載 DEB 格式安裝包並執行之後,過程只需要輸入電腦的使用者密碼,不需要輸入任何文字指令就會自動完成安裝工作。 接著我們可以在開始選單裡面找到 AI TOP Utility 的捷徑,打開之後就可以看到 AI TOP Utility 儀表板,從這邊監控系統狀態,也能夠在下載專區輸入 Hugging Face 的存取令牌(token),就能直接選擇想要使用的 AI 模型,以備在後續執行 AI 推論的應用程式。 ▲ AI TOP ATOM 的包裝相當有設計感,黑色主體搭配亮面的曲線散發出專業的科技感。 ▲ 打開黑色包裝後,內裏呈現技嘉科技的主題藍色。 ▲ 包裝內容物主要具有 AI TOP ATOM 主機以及 240 瓦電源供應器。 ▲ AI TOP ATOM 主機正面的風格與包裝盒相呼應,都以黑色曲線裝飾。 ▲ 主機背面透氣口的部分也是採用黑色曲線做為視覺風格。 ▲ AI TOP ATOM 有一個電源端子,三組組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 HDMI 2.1a 端子、10 GbE RJ-45 連接埠,以及一套 NVIDIA ConnectX-7 智慧網路介面卡。 ▲ 主機的下方用兩條防滑條墊墊高,有助於散熱。 ▲ 第一次開機的時候會出現歡迎畫面,介面與一般 Windows 電腦相當接近,可以使用鍵盤滑鼠操作。 ▲ 在語言方面可以選擇繁體中文,降低語言隔閡的門檻。 ▲ 開機完成後我們先到技嘉科技的官方網站下載 AI TOP Utility。 ▲ 在 AI TOP 專區找到AI TOP ATOM 版本的 AI TOP Utility 下載選項。 ▲ 解壓縮下載的檔案之後執行 .deb 格式的安裝包。 ▲ 打開之後就會看到安裝包的資訊,這邊當然是選擇安裝。 ▲ 之後只需要輸入電腦的使用者密碼,程式會自動安裝。 ▲ 安裝完成就可以打開 AI TOP Utility,進入後可以看到 CPU、GPU、記憶體使用率等系統資訊。 ▲ 在 AI TOP Utility 裡面的下載專區可以看到列出支援的 AI 模型。 ▲ 我們可以自由選擇想要使用的模型,程式就會將所有相關檔案下載到指定的資料夾,不需一一手動下載。 架設聊天機器人全攻略 AI TOP ATOM 的特色之一就是完整支援 NVIDIA AI 軟體堆疊,並具有獨家 GIGABYTE AI TOP Utility,方便開發者能在本地端快速完成訓練、推論與部署。 專業使用者可以在 AI TOP ATOM 上開發 AI 模型或是微調模型,親自進行 AI 原型製作,或是使用自己的資料強化預訓練模型,來打造專屬的解決方案,舉例來說,企業可以開發能夠理解自家產品特色與細節的聊天機器人,而且所有資料都儲存在地端,在本地運算,能夠確保資料隱私,數據科學家也可以利用 AI TOP ATOM 在地端用數據自動化流程完成工作,完成探索性分析、特徵工程到預測建模。 AI TOP ATOM 能進行快速且安全的推論,方便用於測試、評估或運行個人 AI 助理,也是很理想的邊緣運算裝置,適合用於機器人、電腦視覺、多模態等應用。 小編也利用 AI TOP Utility 嘗試架設 ChatGPT AI 聊天機器人,還有進行 FLUX AI 圖像生成,操作的方式相當簡單,只需點幾下滑鼠就可以開始使用,比起從零開始手動設定簡單很多。 小編也特別測試 GPT-OSS-120B 這款參數量高達 1200 億個參數的超大模型,所以需要更多的 GPU 記憶體才能運行推論模型,實測的時候發現佔用接近 70GB 的記憶體,如果使用 RTX 系列的顯示卡的話,至少需要串聯三張 GeForce RTX 5090 才能提供足夠 GPU 記憶體,不但佔用的空間更多,耗電量也有相對增長,而且價格也不是很便宜,充分顯示了 AI TOP ATOM 的優勢。 ▲ 使用 AI 聊天機器人的方式相當簡單,我們先選擇左方功能表的 Inference,然後載入剛才下載的 AI 模型。 ▲ 按下 Start Chat 之後,就可以在下面的對話框輸入想要對談的內容。 ▲ 先試一下參數量比較小的 Llama-3-8B 模型,我們問它要怎麼製做夏威夷比薩,它可以瞭解中文提問,但是使用英文回答。 ▲ 在回答結束之後,訊息後方會顯示總共生成 468 組詞元,速度為每秒 4.12 個。 ▲ 在執行過程中我們切換到儀表板,當時記憶體的使用量已經達到 38.59GB,雖然超過 GeForce RTX 5090 的容量,但對 AI TOP ATOM 來說還是從從容容。 ▲ 接下來我們切換到參數量極大的 GPT-OSS-120B模型,一樣用中文問它要怎麼製做夏威夷比薩。 ▲ GPT-OSS-120B 有思維鏈的設計,會思考跟分析我們輸入的問題,它發現我們是用中文提問,但使用英文思考。 ▲ 接下來回應問題的時候,則會使用中文,並且回答相當仔細,內容的知識含量遠高於 Llama-3-8B。 ▲ GPT-OSS-120B 真的很人性化,連要如何裝飾還有搭配的飲品都能夠娓娓道來。 ▲ 最後我們可以看到它總共生成 2230 組詞元,速度為每秒 4.4 個。 ▲ GPT-OSS-120B 吃掉了 69.05GB 的記憶體,但是對 AI TOP ATOM 來說依然游刃有餘,總量達到 128GB 的統一架構記憶體完全發揮了它的價值,能夠支援參數量更多的模型,提升回應答案的內容與準確度。 AI 圖像生成超簡單 AI 圖像生成對 AI TOP ATOM 來說當然也是小菜一碟,透過 AI TOP Utility 免設定就能搞定所有準備步驟,只須輸入提示詞就能產生逼真動人的圖片。 我們用 FLUX.1-dev 做為範例,在 AI TOP Utility 裡面下載模型之後,到左方功能表的 Inference 選擇文生圖功能與模型,就能輕輕鬆鬆開始玩文生圖。 ▲ 在圖像生成的工作時,我們將推論的類型切換為文生圖,然後選擇 FLUX.1-dev 模型。 ▲ 我想要它生成一個沿著山坡走下來穿著洋裝與草帽的女孩。 ▲ 出來的圖片品質很好,有接近照片的感覺,光影也十分自然。 ▲ 我們也試一下讓它產生看著程式碼的工程師。 ▲ 得到的圖片品質依然很好,都有達成提出需求的重點,簡簡單單就可以取得我們想要的圖片。 AI 開發的入門基石 AI TOP ATOM 最大的特色就是同時具有 NVIDIA 官方提供的 AI 開發參考資料、教學資源,還有技嘉科技獨家提供的 AI TOP Utility,等於可有享用雙邊的資源,協助你從零開始自行學習各種 AI 開發的知識以及操作技巧。 使用者可以先在 AI TOP Utility 裡面能熟悉使用現成 AI 模型,或是當作超級 AIPC、AI 助理使用。在這之後就可以往進階班前進,學習如何微調模型或是使用 RAG 改善準確度,或是嘗試將模型量化為 f32, f16, bf16, 8-bit 等等模式,加快執行速度,此外還可以從 Build NVIDIA 網站下載 AI 軟體堆疊、工具、框架、函式庫和預先訓練的模型,或是參考豐富的教學資源,進一步強化自己的 AI 技能以及開發的程式。 ▲ 探索 NVIDIA Playbook 模型,設定與執行常用 AI 工作流程皆有詳細說明。 當在地端完成開發與測試工作之後,還可以將程式部署至資料中心或雲端上來使用,打造快速的開發流程。 補充資訊Build NVIDIA 網站連結:https://build.nvidia.com/spark 加入T客邦Facebook粉絲團

GIGABYTE 與輝達推出迷你 AI TOP ATOM 超級電腦,桌面小空間就是你的 AI 實驗室

GIGABYTE 與輝達合作的 AI TOP ATOM 在小巧的機身中提供 1 Peta FLOP 運算效能,可以進行各類的 AI 應用與程式開發,也支援執行豐富的 AI 工具提高工作效率。

手掌上的超級電腦

GIGABYTE AI TOP ATOM 搭載輝達 (NVIDIA) 最新專為 AI 應用設計的 NVIDIA GB10 Grace Blackwell 超級晶片,它等於是縮小版的 GB200 資料中心 AI 晶片,具有 20 個 CPU 核心,以及 NVIDIA Blackwell 架構 GPU,提供 PetaFLOP 級運算效能,相當適合應用於學術機構的教學與研究,以及 AI 程式開發者等情境。

它最厲害的地方就是運算架構與輝達的顯示卡、資料中心 AI 晶片相同,因此能夠相容並執行對應的 AI 應用程式,讓用戶可以先在 AI TOP ATOM 上嘗試各種創意發想,並開發為實際程式,然後在本地測試之後,發表到個人電腦、工作站或是雲端主機執行,完美滿足本地與雲端 AI 開發需求,開啟無限 AI 潛能。

AI TOP ATOM 的另一個特色就是搭載 128GB 的 LPDDR5x 高容量一致性統一記憶體(Unified Memory),頻寬高達 256-bit,傳輸速度更是可以達到 273 GB/s,能夠更快載入 AI 模型與程式,也對效能有所幫助,而如此高的記憶體容量也讓它能夠支援高達 200B(2,000 億)組參數的模型,遠遠高於輝達旗艦顯示卡 GeForce RTX 5090 的 32GB 所能支援的模型,賦予用戶更多元的模型選擇。

為了方便儲存 AI 模型與訓練資料,AI TOP ATOM 最高可以選配 4TB PCIe Gen 5 固態硬碟,藉由海量儲存空間以舒解日益增加的檔案數量,讓用戶可以完全施展拳腳,準備各種 AI 模型來滿足不同痛點的需求,同時也方便搭配各種自有資料來進行模型微調,或是準備個人專屬的 RAG 資料庫,以在推論的時候達到精準客製化的效果。

GIGABYTE 已在 AI 領域投入相當多的心力,並且推出獨家 AI TOP Utility 應用軟體,提供圖型化的 AI 控制中心、儀表板,讓使用者可以更明確設定與掌握電腦的工作狀態,同時也簡化了部署 AI 模型與應用程式的手續。

AI TOP ATOM 不但支援完整的 NVIDIA AI 軟體堆疊,同時也獨家內建 GIGABYTE AI TOP Utility,使用者只需點幾下滑鼠就能快速完成本地端訓練、推論與部署,這點我們等一下會在後面進行實際操作展示。

GIGABYTE AI TOP ATOM將 AI 超級電腦濃縮到你的桌面,適合 AI 開發者、愛好者、學生、研究人員與數據分析師使用。(圖片來源:技嘉科技)

GIGABYTE AI TOP ATOM 搭載輝 GB10 Grace Blackwell 超級晶片,相同硬體架構帶來的相容性,讓它能夠與 AI 超級電腦執行相同的 AI 應用程式。(圖片來源:技嘉科技)

如果覺得一台 AI TOP ATOM 的算力或 128GB 記憶體不敷使用,還可串連兩台擴充算力。(圖片來源:技嘉科技)

AI TOP ATOM 開箱、啟動!

GIGABYTE AI TOP ATOM 的外觀真的很小巧精致,主機的體積只有 1 公升,重量也只有 1.2 公斤,內部安裝高速 PCIe Gen 5 固態硬碟,也已經預先安裝 NVIDIA DGX™ OS 作業系統,只需接上電源開機就可開始使用。

AI TOP ATOM 的擴充埠都放置於主機後方,具有 3 組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 Type C 型式的電源端子,它還有一個 HDMI 2.1a 端子可以連接螢幕,還有速度可達 10 GbE 的 RJ-45 連接埠,也提供 Wi-Fi 7 和藍牙 5.4 等無線網路功能。

需要特別強調的是 AI TOP ATOM 具有一套 NVIDIA ConnectX-7 智慧網路介面卡,提供的高頻寬、低延遲的資料傳輸,更厲害的是還可以將兩台 AI TOP ATOM 系統可直接互連,成倍擴展運算推論能力,讓原本只支援 200B 參數模型提升為能運行 405B 參數模型。

小編把 AI TOP ATOM 接上電源與螢幕後,第一次開機需要進行簡單的作業系統初始化設定,並且建立使用者帳號,之後就可以進入 NVIDIA DGX™ OS 作業系統的桌面環境,提供容易操作的圖型化介面。

不過這邊有一個可以改進的小地方,就是系統並沒有內建 AI TOP Utility,需要到官方網站手動下載並安裝。還好安裝方式很簡單,下載 DEB 格式安裝包並執行之後,過程只需要輸入電腦的使用者密碼,不需要輸入任何文字指令就會自動完成安裝工作。

接著我們可以在開始選單裡面找到 AI TOP Utility 的捷徑,打開之後就可以看到 AI TOP Utility 儀表板,從這邊監控系統狀態,也能夠在下載專區輸入 Hugging Face 的存取令牌(token),就能直接選擇想要使用的 AI 模型,以備在後續執行 AI 推論的應用程式。

AI TOP ATOM 的包裝相當有設計感,黑色主體搭配亮面的曲線散發出專業的科技感。

打開黑色包裝後,內裏呈現技嘉科技的主題藍色。

包裝內容物主要具有 AI TOP ATOM 主機以及 240 瓦電源供應器。

AI TOP ATOM 主機正面的風格與包裝盒相呼應,都以黑色曲線裝飾。

主機背面透氣口的部分也是採用黑色曲線做為視覺風格。

AI TOP ATOM 有一個電源端子,三組組 USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),還有 HDMI 2.1a 端子、10 GbE RJ-45 連接埠,以及一套 NVIDIA ConnectX-7 智慧網路介面卡。

主機的下方用兩條防滑條墊墊高,有助於散熱。

第一次開機的時候會出現歡迎畫面,介面與一般 Windows 電腦相當接近,可以使用鍵盤滑鼠操作。

在語言方面可以選擇繁體中文,降低語言隔閡的門檻。

開機完成後我們先到技嘉科技的官方網站下載 AI TOP Utility。

在 AI TOP 專區找到AI TOP ATOM 版本的 AI TOP Utility 下載選項。

解壓縮下載的檔案之後執行 .deb 格式的安裝包。

打開之後就會看到安裝包的資訊,這邊當然是選擇安裝。

之後只需要輸入電腦的使用者密碼,程式會自動安裝。

安裝完成就可以打開 AI TOP Utility,進入後可以看到 CPU、GPU、記憶體使用率等系統資訊。

在 AI TOP Utility 裡面的下載專區可以看到列出支援的 AI 模型。

我們可以自由選擇想要使用的模型,程式就會將所有相關檔案下載到指定的資料夾,不需一一手動下載。

架設聊天機器人全攻略

AI TOP ATOM 的特色之一就是完整支援 NVIDIA AI 軟體堆疊,並具有獨家 GIGABYTE AI TOP Utility,方便開發者能在本地端快速完成訓練、推論與部署。

專業使用者可以在 AI TOP ATOM 上開發 AI 模型或是微調模型,親自進行 AI 原型製作,或是使用自己的資料強化預訓練模型,來打造專屬的解決方案,舉例來說,企業可以開發能夠理解自家產品特色與細節的聊天機器人,而且所有資料都儲存在地端,在本地運算,能夠確保資料隱私,數據科學家也可以利用 AI TOP ATOM 在地端用數據自動化流程完成工作,完成探索性分析、特徵工程到預測建模。

AI TOP ATOM 能進行快速且安全的推論,方便用於測試、評估或運行個人 AI 助理,也是很理想的邊緣運算裝置,適合用於機器人、電腦視覺、多模態等應用。

小編也利用 AI TOP Utility 嘗試架設 ChatGPT AI 聊天機器人,還有進行 FLUX AI 圖像生成,操作的方式相當簡單,只需點幾下滑鼠就可以開始使用,比起從零開始手動設定簡單很多。

小編也特別測試 GPT-OSS-120B 這款參數量高達 1200 億個參數的超大模型,所以需要更多的 GPU 記憶體才能運行推論模型,實測的時候發現佔用接近 70GB 的記憶體,如果使用 RTX 系列的顯示卡的話,至少需要串聯三張 GeForce RTX 5090 才能提供足夠 GPU 記憶體,不但佔用的空間更多,耗電量也有相對增長,而且價格也不是很便宜,充分顯示了 AI TOP ATOM 的優勢。

使用 AI 聊天機器人的方式相當簡單,我們先選擇左方功能表的 Inference,然後載入剛才下載的 AI 模型。

按下 Start Chat 之後,就可以在下面的對話框輸入想要對談的內容。

先試一下參數量比較小的 Llama-3-8B 模型,我們問它要怎麼製做夏威夷比薩,它可以瞭解中文提問,但是使用英文回答。

在回答結束之後,訊息後方會顯示總共生成 468 組詞元,速度為每秒 4.12 個。

在執行過程中我們切換到儀表板,當時記憶體的使用量已經達到 38.59GB,雖然超過 GeForce RTX 5090 的容量,但對 AI TOP ATOM 來說還是從從容容。

接下來我們切換到參數量極大的 GPT-OSS-120B模型,一樣用中文問它要怎麼製做夏威夷比薩。

GPT-OSS-120B 有思維鏈的設計,會思考跟分析我們輸入的問題,它發現我們是用中文提問,但使用英文思考。

接下來回應問題的時候,則會使用中文,並且回答相當仔細,內容的知識含量遠高於 Llama-3-8B。

GPT-OSS-120B 真的很人性化,連要如何裝飾還有搭配的飲品都能夠娓娓道來。

最後我們可以看到它總共生成 2230 組詞元,速度為每秒 4.4 個。

GPT-OSS-120B 吃掉了 69.05GB 的記憶體,但是對 AI TOP ATOM 來說依然游刃有餘,總量達到 128GB 的統一架構記憶體完全發揮了它的價值,能夠支援參數量更多的模型,提升回應答案的內容與準確度。

AI 圖像生成超簡單

AI 圖像生成對 AI TOP ATOM 來說當然也是小菜一碟,透過 AI TOP Utility 免設定就能搞定所有準備步驟,只須輸入提示詞就能產生逼真動人的圖片。

我們用 FLUX.1-dev 做為範例,在 AI TOP Utility 裡面下載模型之後,到左方功能表的 Inference 選擇文生圖功能與模型,就能輕輕鬆鬆開始玩文生圖。

在圖像生成的工作時,我們將推論的類型切換為文生圖,然後選擇 FLUX.1-dev 模型。

我想要它生成一個沿著山坡走下來穿著洋裝與草帽的女孩。

出來的圖片品質很好,有接近照片的感覺,光影也十分自然。

我們也試一下讓它產生看著程式碼的工程師。

得到的圖片品質依然很好,都有達成提出需求的重點,簡簡單單就可以取得我們想要的圖片。

AI 開發的入門基石

AI TOP ATOM 最大的特色就是同時具有 NVIDIA 官方提供的 AI 開發參考資料、教學資源,還有技嘉科技獨家提供的 AI TOP Utility,等於可有享用雙邊的資源,協助你從零開始自行學習各種 AI 開發的知識以及操作技巧。

使用者可以先在 AI TOP Utility 裡面能熟悉使用現成 AI 模型,或是當作超級 AIPC、AI 助理使用。在這之後就可以往進階班前進,學習如何微調模型或是使用 RAG 改善準確度,或是嘗試將模型量化為 f32, f16, bf16, 8-bit 等等模式,加快執行速度,此外還可以從 Build NVIDIA 網站下載 AI 軟體堆疊、工具、框架、函式庫和預先訓練的模型,或是參考豐富的教學資源,進一步強化自己的 AI 技能以及開發的程式。

探索 NVIDIA Playbook 模型,設定與執行常用 AI 工作流程皆有詳細說明。

當在地端完成開發與測試工作之後,還可以將程式部署至資料中心或雲端上來使用,打造快速的開發流程。

Market Opportunity
Sleepless AI Logo
Sleepless AI Price(AI)
$0.03797
$0.03797$0.03797
+1.90%
USD
Sleepless AI (AI) Live Price Chart
Disclaimer: The articles reposted on this site are sourced from public platforms and are provided for informational purposes only. They do not necessarily reflect the views of MEXC. All rights remain with the original authors. If you believe any content infringes on third-party rights, please contact service@support.mexc.com for removal. MEXC makes no guarantees regarding the accuracy, completeness, or timeliness of the content and is not responsible for any actions taken based on the information provided. The content does not constitute financial, legal, or other professional advice, nor should it be considered a recommendation or endorsement by MEXC.