【白嫖】無需部署、免費調用Llama3、Gemma、OpenAI Whisper等開源模型API
你好
歡迎來到AI學長的頻道
我是小林
之前給大家分享過幾期
怎麼樣在本地部署開源大模型
和應用場景的視頻
比如說
給本地大模型添加知識庫
API的調用等等
這個過程當中
有粉絲反饋自己不會部署
電腦配置不好的情況下
還有沒有辦法使用
這些開源大模型
那麼這期視頻
就來分享一個
免費且無門檻使用
各種主流開源模型
及其API的方法
讓你不用在本地部署開源模型
也可以在各種第三方應用當中
調用這些模型
比如說像翻譯插件
Dify的工作流
對話應用等等
這些場景下
都可以用這個方法來省錢
如果你喜歡今天這個話題
麻煩動動你的小手讚一讚
我們今天要用的平臺
名字叫groq
groq它是一個AI硬件的雲平臺
類似於國內的阿里雲
還有微軟的Azure
這一類雲計算平臺
可以給不同的企業
提供雲服務器
或者雲計算服務
那麼groq最大的特色
就是它的計算速度非常快
而且運行成本非常的低
如果是說和
英偉達的GPU去做對比
它的推理速度
是GPU的十倍以上
但是它的運行成本
計算成本僅僅
是它的1/10不到
那麼這裏
我直接給大家感受一下groq
它的一個推理速度
這裏我先找一篇文章
比如說
我們就以ANTHROPIC發佈了
Claude 3.5Sonnet
這篇博客文章爲例
這篇文章
大概它是有1,000個TOKEN
1,000多個單詞
那麼我把這篇文章複製一下
我們直接讓groq幫我們翻譯一下
這裏我們就用llama3 70B版本
作爲演示
看一下它的輸出速度
這裏大家可以感受一下
我是沒有做任何視頻加速的
大概就是4秒到5秒左右
就把一篇
1,000多個單詞的英文文章
給我們翻譯成中文
而且我過了一下
翻譯的質量還是不錯的
整體的完成質量
和速度都非常的OK
然後我們再看右上角
它是有消耗跟速度的顯示
我們的輸入是1,250個TOKEN
輸出的話是1,369個TOKEN
那麼總共的用時
是4.19秒
也就是他輸出
僅僅是花了4秒不到
就把這篇文章
給我們翻譯出來了
我們再來演示一個案例
就是讓他來撰寫一篇文章
以人工智能
是第四次工業革命爲主題
寫一篇1,000個字左右的文章
再來感受一下他的一個速度
那這次我們切換一個模型
比如說我把它改成
llama3 8B的80億參數
它的速度就可以做到更快
我們來感受一下
已經完成了
幾乎就是一剎那之間
而且你可以看一下
這個輸出的TOKEN
是1,000多個TOKEN每秒
這個就是關於它的一個速度展示
那麼在groq這個平臺上
我們就可以直接免費的
去使用這些開源的大模型
那除了在線直接使用
它還給我們提供了
API的調用方式
這裏我們可以在底部菜單
點擊這個groqcloud
它給我們提供了一個Playground
還有一個API的調用接口
我們可以直接進去看一下
首先是Playground
和其他的大模型平臺的
Playground也都類似
我們直接看右邊
它支持的這些模型
谷歌的Meta的
還有Mixtral的
它都是支持的
大家這邊其實還可以看到
它還支持
免費調用OpenAI 的
Whisper這個語言模型
就是把語音進行轉錄
這個也是可以免費使用的
這裏我給大家進行一個示例
我們選擇Whisper這個模型
那音頻文件
我就以我頻道的
上一期視頻爲例
OpenAI終止API服務
在這視頻當中
我講了4種安全調用
OpenAI API的方法
替補的方法
我把這裏面的視頻內容
把它的音頻導出
我們直接上傳到
這個groq的Playground裏面
讓OpenAI的Whisper模型
給我們進行轉錄一下
在這裏
我們可以選擇
我們要轉錄的語言
是簡體中文
直接點擊提交
已經幫我把這個字幕
轉錄過來了
對應的話還有時間戳
所以我們在上面用
OpenAI的whisper模型
去做字幕的轉錄
也是非常方便的
它不收費
而且速度非常非常的快
接下來
我們就來重點分享一下
第二種方式
就是在第三方的應用當中
去調用這些開源大模型的API
不管是說在瀏覽器的插件
還是在桌面的應用當中
或者說在第三方的
雲服務平臺裏面去用
像Dify的工作流裏面去
調用它裏面的開源模型的API
我們來看一下
在這裏可以看到左側菜單
它是有API KEY
也就是在這裏
我們可以去免費創建API KEY
並且在第三方當中調用
而且groq這個平臺的API接口
它和OpenAI的
API接口是一樣的
這也就意味着
只要是兼容OpenAI API接口的
這種第三方應用
它也可以兼容groq的API接口
在這裏
我們去創建一個API key
那麼創建完成以後
我們就可以獲得這樣一個key
這個key在你創建的時候就要保存
因爲當您把創建key的
頁面關閉之後
後面就沒有辦法再去複製了
這點大家稍微注意一下
創建完key以後
我們就隨機打開一個
第三方的應用平臺
這裏我先以chatbox客戶端爲例
給大家演示一下
怎麼樣去調用它的
這個開源大模型的API
我們點擊設置
設置裏面可以去選擇服務
像這個chatbox裏面
它裏面是自帶groq的
可以看一下
你只要輸入密鑰
然後選擇不同的模型
就可以直接使用
如果是說像其他的
一些客戶端應用
它裏面沒有groq選項
你就直接選擇OpenAI API選項
在這裏
我們首先把
在這裏創建的密鑰
輸入進去
然後接下來
我們要輸入groq的API域名
我們可以來到這個文檔界面
文檔界面
它這邊是有一個API的請求示例
那麼這個對應的話
就是它的API請求地址
我們可以複製一下這個地址
然後到這邊粘貼一下
正常來說
像一些第三方的應用
我們只要到/V1 之前
這一段內容是我們要保留的
後面這段內容
一般來說我們是不需要的
我們把後面的這些內容刪掉
然後點擊這個模型及TOKEN
這裏的話是讓我們選擇
你要調用哪一個模型
這裏因爲我們不是
直接用OpenAI的模型
我們就選擇自定義模型
對應的話
我們可以來到groq
它的模型列表頁面
總共是有這些開源模型
比如說現在
你要用llama3
700億參數這個模型
我們就複製一下這個model ID
把它粘貼到自定義模型名稱裏面
去點擊一下保存
我們新建一個對話
來測試一下
可以看到已經回覆了
而且速度非常非常的快
接下來
我再給大家講一下
比如說像在Dify這種線上平臺
工作流平臺當中
它同樣的話
也是可以調用groq的API
免費去調用
這些開源的大語言模型
我們現在已經進到Dify平臺
然後來到模型供應商
可以看到
它這邊是自帶groq接口的
所以它設置起來就非常簡單
我們直接點擊設置
然後把剛纔我們
在這裏申請的API key
給它填寫進去
點擊保存就可以了
可以看到現在已經是連通了
右上角它是一個綠色的點
代表這個測試是沒有問題的
那麼後面在你
創建工作流過程當中
就可以免費的
去調用groq的API接口
這是關於在Dify當中的調用
最後我們再來演示一個
比如說
我們經常會用到的場景
像這個沉浸式翻譯
在之前的視頻當中
也給大家介紹過
它的翻譯體驗是非常不錯的
這裏的話
正常來說
我們可能會用到
OpenAI 的API接口
但是它的話
就會消耗我們自己的TOKEN
像一些簡單的翻譯任務
用這種開源模型
它其實也是能夠勝任的
這裏我們就點擊設置
我把它改成groq免費的API
來替代我們用OpenAI 的API
這裏選擇自定義API key
API key就填
我們剛纔在這裏申請的key
模型名稱
勾選輸入自定義模型名稱
這樣的話
我們就可以編輯這個名稱
對應的話
我們把llama3 70B的模型
給它輸入進去
點擊展開更多自定義選項
同樣這裏
我們還需要把
自定義的API地址改一下
就是這個地址
api.groq.com
然後我們來測試一下
它是不是能連通
可以看到沒有問題
現在我們讓他來
翻譯一下這篇文章
可以看到它已經翻譯成功了
這的話就是
我們是用groq創建的API
然後去調用
它裏面的開源大模型
來去進行的翻譯服務
所以正常來說
我們現在用groq
所創建的API
它是能兼容目前市面上
絕大多數的套殼應用
或者說插件
就算是不兼容
我們也可以把它改成
OpenAI的API接口
所以使用起來是沒有障礙的
這樣的話
我們就可以
不用在本地部署開源模型
也可以自由的
在各種第三方應用當中
去調用各種開源模型的API接口
然後最後
再給大家強調一個
使用的注意事項
目前groq平臺
它是沒有收費的
但是略微做了一些限制
我們在這邊創建好的API key
它是有一個使用上限的
可以在設置裏面的limits看一下
針對每一個模型
比如說這個
它是每一分鐘的請求次數上限
然後這個是每一天的
請求次數上限
這個的話
是每一分鐘請求
TOKEN次數的上限
每分鐘請求基本上是在30次
然後每一天的請求
是1萬多次
對於一個普通用戶來說
我覺得這個次數是完全夠用的
然後下面
是關於whisper的一個上限
同樣的話
也是有不同的參數限制
正常來說也是夠用的
這個就是關於groq平臺的介紹
給我們提供了在線的
免費的開源大模型的使用對話
還給我們提供了
免費的API接口
供我們在第三方應用當中
去調用它
以上就是本期視頻的全部內容
感謝觀看
如果你喜歡我的視頻內容
歡迎訂閱我的頻道
每週都會更新
最接地氣的AI落地方案
和ChatGPT使用技巧