AI Agent是什麼？一口氣了解AI技術演進！LLM、Workflow、Agent到底差在哪？

為什麼ChatGPT他不能夠幫你訂餐廳 為什麼Agent他就可以自己做決定 今天我就要從最底層的技術開始解釋 我就要用RepliConnectors 來讓這些事情全部都可以用自然語言來解決 技術在先進呢 最終的目標都是一樣的 都是要讓電腦更理解人的意圖 讓人更容易使用電腦的能力 歡迎收看Kelly Channel 我是Kelly 你一定有聽過LLM AI Workflow 還有AI Agent等等這些詞 但他們到底差在哪裡呢 很多人以為這些只是不同的產品名稱 但其實他們代表了 AI能力的三個進化階段 LLM像是ChatGPT 他只能夠跟你聊天 你問他現在幾點 他可能會胡亂瞎猜 Workflow像是之前介紹過的N8n 他可以串接真實世界的API 但是每一步都需要你事先去設定好 AI Agent像是之前的影片提到的Repli 他可以自己決定要做什麼 要呼叫哪些工具 就像是一個真正的AI助理一樣 但這些背後的技術邏輯到底是什麼呢 為什麼ChatGPT他不能夠幫你訂餐廳 為什麼Agent他就可以自己做決定 今天我就要從最底層的技術開始解釋 而且更重要的是 我要展示一個AI Agent 非常重要的技術突破 就是Repli他最近Launch了一個 新的Connector的技術 記得之前的影片介紹很多AI Agent的時候 你想要讓他串接外部的App 像是Notion Google Calendar等等 你都需要自己管理非常多的API Keys 並且把它們提供給這些AI Agent 但是Repli這個新的Connector技術呢 讓你不再需要任何API Key 就可以串接外部的App 我會在影片的後面示範這件事情怎麼做 那今天的影片呢 就讓我們從LLM到AI Agent 我們把整個技術史給講清楚 首先呢我們需要理解一個非常反直覺的事實 就是AI模型其實不懂人類的語言 當你輸入我想要訂一家義大利餐廳的時候 模型看到的不是這些文字 而是一串數字 這個轉換的過程呢就叫做Tokenization 舉個例子 我想訂可能會被拆成三個Token 123456789012 那英文的話Restaurant可能就是一個Token 但是Unbelievable可能會被拆成 Unbelievable三個 為什麼要這樣子設計呢 因為這會讓模型可以處理從來沒有見過的新詞 就像你看到Googling這個詞 即便字典裡面沒有這個字 你也可以理解它的意思 現在市面上的模型 像是GPT-4的Token大概都是一個中文字 或是0.75個英文單詞 這就是為什麼API的計價是按Token算 而不是按字數 但是光是把文字變成數字還不夠 這些數字必須要有意義 這個就叫做Embedding 它把每一個Token轉成一個高維度的向量 想像有一個幾千維度的空間座標 在這個空間裡面 語意相近的詞就會靠得很近 比如說Dog跟Puppy的向量距離就會很近 而Dog跟Blockchain的距離就會很遠 更神奇的是 這個空間還可以進行語意的運算 像是King-Man加Woman 大概就是等於Queen 這個不是魔法而是數學 這就是為什麼後面我們會講到Rag的技術能夠運作 因為我們可以在這個語意空間裡面 搜尋最相關的資訊 那這些語意關係到底是怎麼學到的呢 這就要談到Pre-training 想像你在教一個小孩子閱讀 你不會一開始就教他 請用專業的商業口吻撰寫Email 你會先給他看大量的書 讓他理解語言的基本結構 Pre-training就是這個過程 模型會看數DogToken的文本 維基百科 書籍 網頁 程式碼 然後學一個看似簡單的任務 就是預測下一個詞 你給他天空式 他就會預測藍色的 給定Function addAB 那他預測就是Return A加B 就是這樣簡單的任務 讓模型學會文法 常識 邏輯 推理 甚至是程式設計 這也就是為什麼我們稱它為 Foundation Model 它是一切應用的基礎 但這還不夠 一個只會預測下一個詞的模型 它不會乖乖回答你的問題 像是Chat GPT剛出來的時候 大家都驚呆了 但如果你理解剛才講的基礎 就會發現它本質上 還是在預測下一個Token 差別就在於經過了Fine Tuning 特別是一種叫RLHF 簡單來說 就是讓人類標註人來告訴模型 這個回答很好 這個回答離題了 這個回答太冗長了 模型會根據這些反饋來調整參數 學會用對話的方式來回應 但這個階段的AI 有一個致命的缺點 它活在一個封閉的世界裡面 它不知道現在幾點 不知道你的Email裡有什麼 不能幫你訂餐廳 它只能基於Pre-training的時候 看過的資料 給你一個看起來合理的回答 這也就是為什麼Chat GPT 經常一本正經的胡說八道 它不是在查資料庫 它是在做統計的預測 前面呢就是LLM的階段 我們經過了第一個階段 就要進入第二個階段 把AI嵌入到實際的工作流程中 這就是M8n、Zapier 這類工具在做的事情 你可以自己設計一個AI的Workflow 像是先收到Email 用AI總結內容 判斷是否需要回覆 再來生成一個草稿 然後發送到Slack讓你確認 這裡的關鍵技術叫做RAG 就是Retrieval Augmented Generation RAG的概念很簡單 就是在AI生成回答之前 它會先去你的知識庫裡面 搜尋相關資料 然後把這些資訊 當作是context餵給模型 具體來說 把你的文件都做成embedding 存入向量資料庫 使用者在提問的時候 把這些問題也做成embedding 在向量空間裡面 找最相近的文件片段 然後把這些片段和問題 一起送給LLM 模型基於最新的真實資料 生成回答 這就解決了剛才說的 封閉世界的問題 但還是有一個限制 就是你必須要 事先設計好整個流程 如果使用者的需求 稍微偏離你設計的workflow 那系統就會無法應對 這就是一個 只會照SOP做事的一個員工 有效率但是缺乏靈活性 這就帶我們來到了第三個階段 就是AI Agent AI Agent和Workflow 最大的差別就在於 它可以自己決定要做什麼事情 舉個例子 你跟Agent說 幫我安排一下下週的團隊聚餐 那Workflow系統會卡住 因為你沒有告訴它 要搜尋哪個網站 要聯絡誰 要考慮什麼條件 但一個Agent它會先問你 有什麼飲食限制嗎 那預算多少呢 然後看看團隊成員的日曆 找出大家有空的時段 搜尋附近餐廳的評價 打電話或是上網定位發email 通知大家 在行事曆上面建立活動等等 每一步都是AI自己決定的 它會根據執行結果來調整計畫 就像是有一個真人助理一樣 這背後的技術叫做React 就是Reasoning加Acting 它會有四個步驟 第一個就是Thought 我現在需要知道什麼東西 Action就是執行某個工具 像是搜尋發email寫程式等等 再來Observation 看看執行的結果 然後Repeat 根據結果決定下一步 但這裡有一個巨大的工程挑戰 就是如何讓AI安全可靠的 連接到真實世界呢 這就帶我們講到 今天重點要介紹的Replic Connector 在Replic Connector出現之前 如果你要讓你的AI Agent連接 像是Gmail Google Calendar Notion等等 你需要第一個 去每一個平臺申請一個開發者帳號 再來創建OAuth 然後應用管理Client ID Client Secret API Keys等等 實作OAuth Flow 處理Token刷新 然後再來還要處理各種錯誤 像是Rate Limit 權限不足 Token過期 還要為每一個使用者來存儲憑證 這個過程非常的複雜 還有安全風險 如果你的API Key洩漏了 像是前陣子就有人真的發生過 別人就能夠用你的身份來存取資料 或者是花你的錢 而且最令人沮喪的是 你花80%的時間可能都在處理認證 只有20%的時間在開發真正的功能 Replic Connector 就是用一個非常極簡的概念 來解決這個問題 不用再管理任何API Keys了 讓使用者可以直接登入 概念上就是像使用Google帳號登入一樣 但是登入這件事情 還包含了完整的API授權 最重要的是 你只需要登入一次 之後Replic建立的任何應用 都可以直接使用這個連結 那接下來就讓我們實際示範一次 這個Connectors的操作吧 好 那我要來示範一個 我覺得每一個上班族 應該都會應用到的場景 你有沒有過這種經驗 就是開完會之後 你還需要花30分鐘 在手動做很多事情 像是把Action Items跟專案的重點 去加到Notion或者專案看板裡面 然後在Google Calendar 更新下一次會議的時間 再來還要到Google Drive 建立一個專案的資料夾 然後回頭去Notion的文件 把這個資料夾的連結貼回去 今天我就要用Replic Connectors 來讓這些事情 全部都可以用自然語言來解決 首先我來到Replic的這個頁面 我給它的Prompt 是幫我建立一個 會議筆記的處理系統 功能需求是我會貼上會議紀錄 然後自動在Notion 建立新的頁面標題是會議主題 把會議內容整理成 結構化的格式 提取Action Items 變成Checklist在Google Calendar 記下一次會議的紀錄 然後Google Drive建立資料夾 再把Drive的連結貼回Notion 就我剛剛說的這個Process 然後請它幫我實作這所有的東西 來Start Chat 好那你看它現在跳出來了一個 現在我需要授權這個整合服務 然後它下面就顯示Connect to Notion 它並沒有Prompt你給它一個API Key 這樣子你就不需要到Notion 再創建一個Developer的帳號 然後拿到API Key 然後回來Feed什麼 就這些都不用了 只需要點Connect to Notion 它會跳出來一個視窗 讓我Continue to Notion 這邊它顯示Connect with Replic 你就可以Select Play Pages 選你要給它Access的是哪些東西 只需要這樣 它就已經Connect完成了 再來因為我也讓它 Connect to Google Calendar 所以它跳出來一個一樣的通知 需要Google Calendar的整合 然後這邊我可以選全選 再來繼續 幾秒鐘之內 Notion跟Google Calendar都已經串好了 最後一個要串的就是Google Drive 再選 我要給它的帳號跟權限 就Connect Successfully 就這樣 原本你需要去三個App 找API Key從哪裡生成 甚至我記得之前的影片 留言有人說API Key是什麼 現在你也不需要知道這是什麼東西了 因為它都在後臺幫你操作好了 所以它現在知道它要做一個App 然後它問你說 現在你想要Build the Entire App 還是Start with the Design呢 Build the Entire App當然就會花比較久 但是我們就讓它Build出來 看看它會跑多久 跟最後生成出來的結果是什麼樣 好那在經過大概半小時到一小時的時間 Replic把這個會議筆記的處理系統 成功串接了Google Drive Google Calendar跟Notion 那我們現在來看看 來Test一下它做的這個App怎麼樣 我們可以到New Tab來Preview 這邊有一個會議記錄輸入的地方 可以輸入會議標題跟下一次會議的設定 那我就來貼上一個會議記錄 這邊說Q4的新功能開發 然後有參與者討論重點Action Items 然後會議標題我就不寫 看看它能不能自己提取 然後下一次會議的時間約三十 然後下午兩點 會議時長六十分鐘 然後開始處理會議筆記 它這邊就會顯示處理進度 先提取會議主題 然後AI整理內容結構 再來還會建立Notion Google Drive跟Calendar OK處理完了 這邊有會議主題 討論重點 然後待辦事項也全部都列出來了 再來看看最重要的整合連結 看看Replic Connectors有沒有成功 首先Notion頁面這裡直接有一個Link 可以去看看 OK確實把會議記錄放在這裡 而且也是在我的這個Notion Workspace裡面 非常成功 再來建立Drive的資料夾看看 確實到了我的Google Drive 然後有一個會議專案產品規劃會議 Calendar的事件有嗎 有的在10月30加了一個Q4新功能開發 不過這個應該是因為我失去設定的關係 因為我現在是加州時間 我差要設了臺北時間之類的 哇整個過程我只做了三件事情吧 第一件事就是寫這個Prompt 第二件事就是點一點授權 登入一下我的Notion跟Google 再第三件事情就是輸入我的會議記錄 按執行就完成了 從頭到尾沒有Deal with任何OR 什麼API Key 然後任何什麼Credit Usage 什麼之類的問題全部都沒有 真的是超級容易 然後也不用擔心自己的API Key Leak出去 那可能有些人會覺得這樣子安全嗎 Replic有一個權限最小化的原則 就是你只需要Grant他需要的權限 比如說他要寫一個Notion Page 那你不需要Grant給他 可能刪除Notion Page這個的Permission 所以他就不會誤刪到你任何東西 在Replic的Integrations的頁面 你可以點到這邊 你就可以看到就是你現在有Connect的東西 像我剛剛Connect了Calendar Drive跟Notion 然後下面是所有就是其他 可以Connect的第三方的App 所以你就可以在那邊去Manage說 你Connect了哪些App 然後你Grant了哪些權限 然後Replic做了哪些事情 你如果想要收回你的權限的話 也是沒有問題的 再來就是資料是用你的身份去存取的 這個非常的重要 因為你建立的應用程式 就只能Access你自己的資料 不會像過去就可能有一個萬能的API Key 除了你之外還有很多很多其他人都在用 那大家的Access權限都是一樣的 然後都可以做一樣的事情 這樣反而更危險 這樣子你登入自己的帳號之後 每個人登入的帳號都是不同的 所以每個人的Access 都可以被很好的管理跟很好的限制 也因為沒有這個萬能的Key 所以沒有這個洩漏的風險 最後對於企業用戶呢 要做企業管理也是更方便的 因為你可以清楚的看到 有哪一些Connectors可以使用 然後管理有哪一些特定的使用者 要不要幫這些特定使用者 設定什麼樣的權限 就不會像過去你要存就是各種Key 然後再分佈在各種地方 這些權限管理非常的亂七八糟 所以我自己個人真的覺得 在Replica Connector launch之後 會是對於就是Access管理這件事情 在AI Agent上是非常重要的一步 而且真的非常方便 非常推薦受API Key管理困擾的人 去試試看這個新的功能 講完這一大堆 讓我們重新來拉高視角 看一下整個AI開發的演進 早期我們關注的是Inference效能 如何讓模型跑得更快更便宜 這是硬體和演算法層面的競爭 但是現在瓶頸已經轉移到 Orchestration複雜度 如何可靠的連接數十個API 管理長時間運行的任務 這就是為什麼你會看到 像是LangChain Lama Index 這類的Orchestration框架爆炸成長 Vector Database成為新的基礎設施 Agent的框架快速迭代 而像Replica Connector這類的技術 本質上就是在降低Orchestration的摩擦力 那下一個發展的會是什麼呢 現在的Agent主要在處理文字和結構化的資料 但很快你會看到Agent可以看螢幕截圖 理解UI元素 自己點擊操作 聽語音 在視訊會議裡面做筆記 或者像生成圖片影片作為溝通的一部分 想像你設計一個Agent 你說做一個產品的Landing Page 他不只能生成程式碼 他還會搜尋競品網站 截圖分析設計趨勢 生成Wireframe草圖 用Dolly來生成Hero image 然後寫完整的程式碼再來部署 部署完Slack通知你Review 這一切都可以在一個對話裡面完成 所以如果你是一個想要投入AI應用開發的人 我自己認為現在真正的價值 在於連接AI和真實世界 你不需要懂Transformer的技術 但是你需要懂如何設計好的Prompt 如何做有效的Rag 如何處理工具呼叫的錯誤 如何設計Agent的決策流程 還有善用平臺的能力 像是Replica Connectors這樣子的工具 可以讓你跳過90%的基礎建設 不要浪費時間在OAuth上面 那我們今天的影片從 這些都是見證了AI能力的層層疊加 但是技術在先進呢 最終的目標都是一樣的 都是要讓電腦更理解人的意圖 讓人更容易使用電腦的能力 我認為在運用AI的時候 你需要專注的事情就是 那就希望大家的生活 都可以因為運用AI而進步囉 那如果你喜歡這支影片的話 就記得幫我按讚訂閱分享 我們下一支影片再見囉 掰掰