跳到正文

公司自己的 AI 助手,資料留在自己手裡

員工為了幹活,已經在把客戶郵件、價目表和合約貼進公開的 ChatGPT?大模型私有化部署,就是把同樣的日常工作交給公司自己的 AI 助手:跑在你買的硬體或租用的 GPU 雲伺服器上,由我們部署,公司資料留在公司裡。

私有助手的好處:資料、權限、文件

  • 公司資料留在內部:問題、文件和回答都不進公開的聊天服務。
  • 權限可控:誰能用、每個部門能搜哪些資料夾,由你決定。
  • 能根據公司內部資料回答,這是公開聊天工具看不到的。

用公司資料問答,按權限來

它能搜哪些資料夾由你決定:政策、價目表、產品資料、操作手冊。每個人只能從自己有權打開的文件裡得到答案。下面是一個問題的完整過程。

這是範例,細節是虛構的。
  1. 人工

    客服同事問:「批發客戶的退貨期限是多久?」

  2. AI

    助手只在這位同事能打開的資料夾裡查找,找到批發條款。

  3. AI

    用兩句話回答,並註明用的是哪份文件、第幾頁。

  4. 人工

    回覆客戶之前,同事打開原文核對。

AI
AI 整理或起草,規則由你定
人工
需要人確認或動手

怎麼部署:自己的硬體或租用的伺服器

  1. 01

    在哪裡跑

    跑在你買的硬體上,比如辦公室裡的一台伺服器或高效能電腦,或者租用的 GPU 雲伺服器。

  2. 02

    選模型

    按你的任務選開源模型,比如 DeepSeek、通義千問(Qwen)或 Llama。

  3. 03

    部署

    我們安裝好,接上公司的資料夾,設好誰能看什麼。

  4. 04

    上線

    員工用它代替公開的聊天工具。

私有化部署常見問題

私有化的大模型和 ChatGPT 一樣好用嗎?

不是每件事都一樣好用。日常寫作、總結和根據公司資料問答,好的開源模型可以做得不錯;複雜推理和最新功能,大型商業模型仍然更強。

需要什麼硬體?

看用哪個模型、同時有多少人用:一台配了好顯卡的電腦可能就夠了,也可以租一台 GPU 雲伺服器。

下一步

聯絡我們,聊聊私有化部署

說說團隊現在怎麼用 AI、大概多少人會用私有助手。