Local LLM

將大型語言模型部署於本地端(邊緣設備)而非雲端的技術方案。

優勢

  • 隱私:數據不離開設備
  • 低延遲:無須網路往返
  • 離線運作:不依賴網路連線

與相關技術的關係

採用廠商

  • AsiaRF:LOCAL LLM 邊緣運算平台