ScrapeGraphAI顛覆傳統網絡爬蟲技術！用AI重塑數據採集方式！支持ollama本地部署！LangChain+LangGraph打造最強全自動文章採集和內容創作AI智能體！讓內容創作更簡單！

歡迎來到AI超源域 我們平時在開發與AI相關的項目的時候 經常會遇到需要搜索網絡信息 並且抓取公開的網絡內容 進行數據分析 模型訓練等工作 但是傳統的網頁內容抓取框架 嚴重依賴於預定義的規則和模式 一旦網站的結構發生變化 就需要手動更新代碼和規則 非常耗時耗力 好 本期視頻將爲大家詳細演示一款 基於大模型 還有圖譜的網絡內容抓取項目 script graph ai 這個開源項目非常簡單易用 用戶只需要用簡單的自然語言 描述給script graph ai 需要執行的任務 然後它就能非常自動化的 爲我們抓取我們想要的內容 而且它能自動識別網頁結構 精準提取我們所需要的信息 並且整理成結構化的數據 而且script graph ai 是利用大語言模型的語意理解能力 能夠自動適應網站結構的更新 無需像傳統爬蟲那樣 頻繁修改代碼 徹底革新了網絡爬取技術 大幅降低了對頻繁維護和更新的需求 而且它支持對單個網頁內容的提取 多網頁內容的提取 搜索結果 轉語音等多種流程通道 滿足不同的數據抓取需求 而且它還可以根據需求 來生成對應的python代碼 方便進行更深層次的定製和自動化 而且它還支持chatty gpt deepseq grok等大模型的API調用 並且還支持olama 調用本地的開源模型 好 本期視頻我們會通過幾個實際案例 詳細演示script graph AI的本地部署 還有實際應用 而且還會爲大家演示 通過script graph AI 結合lanchain 還有lan graph 打造能夠自動搜索指定題材內容 並且根據抓取到的內容 改寫成新的文章的AI智能企業 好 視頻的開始 我們先安裝script graph AI的eLAN 我們直接用paveinstall 來安裝它的python庫 我們直接執行就可以 下面我們再執行這條命令 它是一個瀏覽器自動化框件 下面我們再執行這條命令 來安裝duckduckgo的速速引擎功能 因爲後面的演示 我們需要用它作爲速速引擎 下面我們再執行這條命令 然後這條命令會安裝 對其他大模型的支持 比如說chatty gpt cloud等模型 當這些命令都執行完成之後 我們要確保我們已經安裝了olama 並且在olama中已經拉取了模型 然後我這裏將用metronemo這款模型 用於本地測試 爲了方便演示 我將在pycharm中來運行這些代碼 首先我們可以看一下 在script graph AI中 調用olama中的模型是如何實現的 我們可以詳細看一下這個代碼 然後這裏就是導入所需的eLAN 然後下面這裏就是配置 我們所需的模型 還有其他一些參數 我們可以詳細看一下這些參數 然後這裏是apk 在olama中可以不需要填一些apk 然後調用olama中的模型的話 這裏一定要填olama 然後後面跟上olama中的模型的名稱 我這裏調用的是metronemo這款模型 這款模型它的參數並不是非常大 但它的效果卻比較好 而且它對中文的知識度也是比較好的 下面這個溫度參數 我們給它設置成0 這樣它就能更加準確的來執行任務 下面這個參數是請求的速率 然後它的請求速率 我們給它設置成了一秒請求一次 下面這個hederas這個參數 我們將它設置成了false 也就是腳本運行之後 我們可以看到瀏覽器 下面將我們的任務寫在提示詞裏 然後我這裏是用的英文 然後大家也可以用中文 然後我給它設置的任務 就是提取頁面上所有文章的標題 然後這裏就是給它設置的目標網站的URL 下面我們就可以來運行這個腳本 來看一下這個效果 我們直接在中段用passive命令 來運行這個腳本 可以看到運行之後 它會自動打開這個瀏覽器 在中段它還在執行這個任務 因爲它需要提取在網頁裏的這些內容 這裏我們要稍等一下 這裏它成功提取到了這個網頁上的內容 我們可以先打開這個鏈接看一下 這是我創建了一個博客 然後在當前頁面上一共有4篇文章 我們可以對比一下 它抓取的這個文章的這些標題是否正確 首先它抓取到了這個博客的標題 然後下面這裏就是抓取到的文章的標題 這裏是第一篇文章的標題 然後這裏是第二篇文章的標題 這裏它抓取的都是完全沒有任何問題的 這樣的話我們就通過短短20多行代碼 然後只用了一個提示詞就成功實現了 抓取這個鏈接裏所有文章標題的這個功能 下面我們再通過另一個代碼來提取更加複雜的內容 然後在這個腳本中 然後這個模型這裏我設置成了openai的gbd4o mini模型 在headless這裏我給它設置成了true 這樣的話它就不會顯示這個瀏覽器 也就是運行的時候不會顯示瀏覽器 然後在提示詞任務這裏 我給它設置成提取網站上所有的這個博客的文章 在鏈接這裏我還是設置的剛纔的這個博客 下面我們還是用pyc命令來運行 這裏我們要稍等一下 現在它開始提取這個網頁 它成功提取到了這個博客上的這些內容 包括標題 包括博客的鏈接 還有這個需要閱讀的時間 它一共提取到了四篇文章 因爲這個博客上我只寫了四篇文章 我們如果想讓它將這個博客上所有的文章內容都提取下來 我們只需要修改一下提示詞就可以 這裏是我修改後的這個提示詞 也就是提取所有文章的標題 還有它們的上下文 然後這個代碼我只修改了這個提示詞 沒有做其他任何修改 下面我們就可以來執行一下這個教本 看一下它能否提取出這個文章的標題 還有文章的具體內容 它成功提取到了這個博客上四篇博客的標題 還有博客的內容 下面我們再測試一下它通過搜索引擎 進行相應的內容搜索 並且提取搜索到的這些內容 下面我們可以詳細看一下這個代碼 這個代碼非常簡單 我們只是在搜索引擎這裏 給它改成了duckduckgo 也就是視頻開始 我們安裝的duckduckgo的一欄 然後這裏大家也可以改成其他的搜索引擎 比如說並 下面在提示詞的任務這裏 我輸入的這個提示詞是 列出2024年12月發佈的開源打語言模型 下面這裏就是運行這個任務 然後這裏我還加入了兩行代碼 這裏就是獲取並輸出 它執行過程中的詳細信息 下面我們就可以用passive命令 來執行一下這個教本 我們直接運行 這裏我們要稍等一下 這裏它很快給出了這個搜索結果 這裏是它搜索到的2024年 開源的這些大語言模型的詳細信息 然後這裏包含模型的名稱 還有開發模型的這些公司 而且還包含模型的參數 然後這裏我們就不再詳細去看了 下面就是它執行這些任務的詳細信息 下面我們再看一下scriptgraphai的 它的代碼生成能力 我們可以詳細看一下這個代碼 然後這個代碼也是非常簡單 在調用的模型這裏 我們給它設置成了openai的GPD 4 Omini 然後window這裏我們還是設置成0 然後這裏我們讓它調用beautiful soap 這個爬蟲框架 爲我們生成能夠抓取這些鏈接的 爬蟲框架的代碼 然後這裏我添加了兩個我博客上文章的鏈接 爲了更好的插看效果 我們可以再添加一個鏈接測試一下 我們點開這個博客 然後複製下這個博客的鏈接 我們再回到代碼 然後我們將這個鏈接也添加進來 好,下面在這個提示詞這裏 我給它設置的是 請查找關於AI的相關信息 下面我們就可以用python命名來運行這個腳本 讓這個腳本爲我們生成 能夠抓取這三個鏈接中內容的python爬蟲腳本 我們直接執行這裏我們要稍等一下 這裏它成功爲我們生成了這個python腳本 它這裏就用了我們剛纔在代碼中 指定的beautiful soap這個框架 我們可以直接複製它給出的這個代碼 然後我們自己去運行一下 然後我們創建一個文件 將複製的代碼粘貼進來 下面我們在終端中來運行一下這個爬蟲的腳本 然後這個腳本它成功抓取了標題 還有描述還有作者還有發佈時間 還有文章的標籤文章的分類 下面這裏是抓取了第二篇文章 這裏是第三篇文章 這就是通過這個框架 它爲我們生成的這個可以直接執行的python爬蟲腳本 它已經在代碼中爲我們定義好了 要抓取的這些內容的這些規則 像這樣的話在它生成的代碼中 就不需要再調用大模型去分析這些內容了 因爲它已經提前將這個網站的內容和結構全部自定義好了 這樣的話我們在抓取這個網站上其他鏈接的時候 就不需要再消耗token了 這樣的話我們就可以在它生成的這個腳本的技術上 再添加一個鏈接 我們測試一下 我們進入這篇文章 然後我們複製好這個鏈接 然後回到剛纔的代碼 然後我們放入我們剛纔複製的這個鏈接 我們再運行這個腳本 這樣的話它成功執行了這個腳本 我們可以看一下 然後前三篇還是抓取了剛纔我們看到的三個鏈接 然後最後一篇就是抓取了我們剛纔放入的這個鏈接 它這裏準確抓取到了標題 描述 作者 發佈時間 還有這些標籤等內容 然後我們回到博客看一下 這是這個文章的標題 然後這是這個文章的描述 下面就是這篇文章的這個標籤等內容 它爲我們生成的這個腳本 就完全適用於我這個博客內容的抓取 也就是當我在博客上在發佈其他新的文章的時候 不論發佈再多我們只需要輸入鏈接 然後用這個腳本 它就能成功抓取到我們所需要的這個內容 像這樣的話我們針對特定的網站 就不需要每次都調用大模型 來爲我們提取相關的內容了 我們直接根據這個框架 爲我們預定好的這些規則 就能抓取這個網站上所有的內容 但是當這個網站的結構發生改變的時候 我們就需要重新用這個框架 我們重新生成這些規則 剛纔爲大家演示的都是非常簡單的案例 下面我們結合實際 爲大家演示一個更加貼合實際的一個案例 然後這個案例就是能根據我們所需要的任務 抓取相應的內容 並且將抓取到的內容 改寫成一篇科技資訊風格的文章 然後這樣的話我們就能將改寫後的文章 發佈到我們的公衆號或者博客 或者其他一些平臺 在這個代碼中我們調用了lanchain 還有languagraph 好 這裏我們可以詳細看一下這個代碼的核心功能 然後它的核心功能就是搜索新聞 並且提取內容 然後對提取到的內容進行分析和處理 再根據提取到的內容自動生成文章 最後將生成的內容進行保存和輸出 這裏我們使用了tabletai搜索引擎 因爲這個搜索引擎它能夠搜索更專業的 與ai相關的這些新聞還有內容 然後這裏我們就使用scriptgraphai的這個工具 來提取網頁的內容 這個內容分析和處理 就是解析和驗證搜索到的文章的數據 並且提取標題鏈接摘要還有文章內容 然後對內容進行格式化還有清理 最後會調用gpt4o生成科技資訊類型的文章 好 下面我們就可以詳細看一下這個代碼 然後這裏就是導入所需的這些依賴 然後下面這段代碼就是我們定義這個數據模型 這裏包含文章的標題 文章的鏈接 文章的摘要和總結 文章的完整內容 還有發佈日期 還有作者 還有文章的標籤 下面這裏我們定義了一個文章列表的數據模型 也就是我們要生成的科技資訊的文章包含哪些內容 下面這裏需要我們設置一些apk 然後包括tivoli AI的apk 還有openai的apk 然後這個openagd大家也可以改成其他的模型 然後這裏還包含scriptgraph AI的apk 如果在colab中運行的話 我們只需要點擊左側的這個鑰匙圖標 然後將對應的apk都填寫在這個裏面就可以 然後這裏我們定義了一個初始化所需的這個工具 然後這裏包含tivoli AI的這個工具 這裏我們設置了這個模型爲GPT-4-Omini 然後它的溫度是0.3 這裏設置了這個超時的時間 然後這裏就是使用LanguageRef 來創建了一個react-agent 這裏就是給這個agent設置語言模型 也就是我們剛纔設置的GPT-4-Omini 然後在工具這裏就調用我們預定義的工具 這裏我定義了一個函數 然後這裏是從單個URL中提取完整的文章內容 包含標題作者發佈日期完整的內容 還有關鍵技術 這裏給它定義了一個用json格式 來返回所提取到的這些內容 然後這裏我們給它設置了這個搜索的提示詞 下面這裏就是解析返回的搜索結果 然後這裏就是對搜索到的每個鏈接 來提取對應鏈接的這個內容 這裏就是生成科技資訊的這個文章 然後這裏我們給它設置了這個生成科技資訊 風格文章的提示詞 這個函數就是保存這些結果到這個文件 然後這裏就是這個處函數 這裏就是初始化我們定義的這些工具 這裏就是創建這個agent 下面我們就可以來測試一下運行這個膠本 看一下這個效果 在運行這個膠本之前 我們先安裝所需的這些依賴 我們直接運行這個命令 來安裝所需要的這些依賴 這裏我們要稍等一下 當這些依賴安裝完成之後 我們就可以來執行這個膠本了 我們直接點擊執行 這裏正在執行 我們要稍等一下 這裏執行完成 然後這裏它搜索到了5篇文章 而且根據這5篇文章 它生成了一篇新的文章 然後這篇新的文章標題就是 開源大於原末性的崛起 技術進步與行業影響 然後在作者這裏就是我的頻道名 然後日期就是2024年12月31日 也就是今天 這裏它將原始數據存儲到了csv文件 將原文的文檔也存儲到了這個文件夾 將生成的科技文章存儲到了這個路徑 好 我們可以詳細看一下 我們直接點開這個文件夾 這裏是它爲我們生成的科技資訊的文章 我們直接打開看一下 這是它爲我們生成的文章的標題 然後這裏就是我們定義的作者 然後這裏就是日期 然後這裏是文章的副標題 還包含正文 最後這裏就是這些信息來源 這樣的話我們就成功實現了 從搜索引擎搜索到這些相關的文章 並且爲我們重新改寫成 一篇科技資訊風格的文章 這樣的話我們就可以將這篇文章 發佈到我們的博客等品牌 通過我們剛纔幾個案例的演示 可以感受到scriptgraph AI 它不僅是一款強大的數據採集工具 還代表了AI時代數據獲取方式的創新 不論是數據科學家 AI工程師還是業務分析師 scriptgraph AI都能爲我們帶來效率的提升 好 視頻中所用到的代碼和指令 我都會放在視頻下方的描述欄或者評論區 如果你在視頻下方無法直接找到的話 也可以直接訪問我的博客 來獲取對應的筆記和代碼 本期視頻就做到這裏 歡迎大家點贊關注和轉發 謝謝大家觀看