根據《GIGAZINE》報導，一項全新的開放原始碼應用程式「PocketPal AI」讓用戶能在 iPhone／iPad／Android 手機上直接運行多種小型語言模型，並支持離線對話與 AI 效能測試，不需網路連線，也不依賴雲端服務，所有數據與會話皆存於手機本地，保障使用者隱私。

PocketPal AI 是一款支援 iOS 和 Android 的手機應用，可讓用戶在沒有網路的情況下與多種小型語言模型（SLM）互動。所有運算皆於裝置上完成，不會將對話內容、提示或數據外送或儲存在外部伺服器，確保用戶的隱私權。

PocketPal AI 的功能強大，在安裝後，用戶可從應用中選擇安裝語言模型，例如「Gemma-2-2b-it(Q6_K)」或從 Hugging Face 平台導入模型，如 NVIDIA 的「Nemotron3-Nano」等。安裝完成後，用戶即可在手機上與這些語言模型進行對話。雖然小型語言模型的準確性可能不如大型模型，但其回應速度在手機上表現驚人。

PocketPal AI 也提供簡單的模型切換功能。用戶只需點擊右上方的選單，選擇「Models」後便可切換不同的 AI 模型。此外，還能透過「Palshub.ai」註冊後導入個性化 AI 助手（Pals），享受更具互動性的體驗。

PocketPal AI 另一大亮點是支援「AI 效能測試」。用戶只需選擇模型，點擊「Start Test」，應用程式便會自動執行模型的效能評估，並顯示出每秒處理的詞彙數、生成速度、總時間與記憶體佔用率。以 iPhone 15 Pro 支援的 Gemma-2-2b-it 模型測試結果顯示：每秒處理 205.34 詞彙、生成速度 13.77 詞彙、總耗時 36 秒，記憶體佔用率最高達 31%。用戶還可點擊「View Leaderboard」查看 Hugging Face 上的效能排名，了解自己裝置的表現。

目前效能排行榜的冠軍為搭載 M2 晶片的第六代 iPad Pro（11 吋），而 Device Duel 功能則讓用戶能直接比較不同裝置的測試結果。

PocketPal AI 為使用者提供了一種全新的 AI 使用方式——不需網路、不需訂閱、不需依賴大型雲端服務，同時還能進行裝置效能分析，是極具潛力的開放原始碼工具。

📰 本文資料來源 • GIGAZINE