AI前沿技術 Ollama:完全零代碼小白實現大語言模型安裝到本地電腦運行，保姆級新手教程

哈嘍大家好 今天這期課來給大家去介紹一下歐拉瑪 歐拉瑪它主要是可以在我們的本地 去跑一些大圓模型和視覺模型 它跑的都是一些開源模型 不需要你去花錢 而且在本地你甚至不需要聯網 都會去用這些模型 那麼這個歐拉瑪它的使用還是有一點點小技巧的 我們這邊來給大家去詳細的說一下 而且歐拉瑪在後續我們可以結合我們的Config 可以去實現一些比較進階的工作流程 那麼首先第一個就是歐拉瑪的安裝 就是它是有一個官網的 你直接進到這個官網裡面 歐拉瑪.com 就是收到這個歐拉瑪.com進來 它默認的第一個界面就是可以去下載 點擊這個download 就可以下載下來這個安裝包 那麼這個安裝包 我也給大家去準備了一個 就是這個 這個目前來說是我在錄課的時候 是3.10的這個版本 3.10的話它有一些更新 它支持的模型更多了 那如果說後續 如果說它有時候有一些更新對吧 大家可以自己去官網上去下載 就是下載下來之後重新去安裝一下就可以了 那麼這個是安裝 安裝的話你就直接雙擊它 默認一路安裝就好了 它默認是安裝在C盤的 建議大家不要去改它的路徑 你改了路徑之後 它可能配置的模型 這些可能哪個地方一點點 出了這個小差錯 你可能整個這個跑不起來 對吧 就是你盡量的就用它默認這個路徑 去運行就好了 然後呢 如果說你下次要升級的話 你下載了這個新的這個版本的模型下來之後 你還是一樣的 在雙擊默認把它覆蓋安裝了就可以了 這個是安裝和升級 因為它有些模型 比如說它隨著這個時間的這個推移對吧 那麼有些模型 它需要更新的這個版本才能去運行 那到時候你可能需要去升級一下這個歐拉瑪 那麼這個到時候遇到了這些更好用的模型 我們到時候再專門去給大家去做這個推薦吧 然後呢 這個歐拉瑪怎麼去安裝這些模型呢 這邊這個歐拉瑪裝好了之後呢 它還有一個專門的一個圖標 在你的桌面上 或者你可以把它放到這個開啟它裡面去 就是你點這個歐拉瑪 它就會出來這樣一個圖標 但這個圖標它並沒有這個圖形界面 它只是一個圖標 它會在這個下面有個這個圖標 你點了它之後也沒也沒有任何這個界面 你只能去點到這個什麼vlogs 還有個這個quitolama 它就是相當於在後段 已經開始啟動歐拉瑪相關的一些服務了 這是一種方式 我平時比較少去用這個圖標 我點的是這個quitolama把它退出了 退出之後我比較習慣在這個控制檯裡面去運行它 因為可以看到它的一些運行相關的一些信息吧 然後呢 你可以在這個windows的這個搜索框裡面去搜這個cmd 直接輸這個cmd 然後呢點擊enter 就出來這個命令提示服務 或者呢 你從這個比如說你從這個什麼文件夾裡面 你隨便打開個文件夾 你在這一方輸這個cmd 它就一樣的出來到我們的這個控制檯 這個命令提示服務 我們直接從這個這邊去 你直接找這個命令提示服務去搜它也是一樣的 然後呢 我們把這個打開之後呢 我們可以輸這個歐拉瑪 輸這個指令 它這個它就彈出來歐拉瑪對應的有哪些指令 事實上它這邊都有告訴你 如果你英文稍微的這個好一點 同學應該大概簡單看一下就懂了 我簡單給大家去介紹一下 我們常用的這幾個指令 第一個就是我們要去下載或者去跑一個模型的話 就是最常用的指令就是這個歐拉瑪run 就是我們要去跑哪個模型 就是你要先去下載它 如果說你沒有這個模型 它就會先自動的去給你去下載 比如說我們要去下載 比如說我推薦大家去下載的幾個模型 比如說我們要去跑這個大圓模型的話 有同一千萬二還有根碼二 還有這個5.3.5這些模型 都是質量非常高的一些開源模型 你點這個models這裡面進來 它就會給你去推薦一些比較靠前的一些模型 在這點到這個models這裡面來 好這邊比如說拉瑪 但這個模型比較大 而且這個是Facebook他們開源的模型 然後根碼然後包括像千萬二 這些都是比較好的模型 千萬二的話因為是中國團隊做的模型 它在中文語意理解上面可能會更好一些 如果說我們要去下載某一個模型的話 你就點進去 比如說我點了這個拉瑪3.1這裡面 那麼比如說要去下載哪個版本 這裡面的參數簡單拿去介紹一下 這個幣它有不同的版本 比如8幣70幣405幣 幣指的是它的這個參量 幣量的參量 幣就是百億十億 然後後面它帶有一個模型的大小 指的是文件的體積大小 這個文件體積大小一般來說 就跟你的顯存其實有一個正相關 就是一般來說 比如你的顯存都沒有4G 那麼你肯定運行不了4G的模型 因為它通過你的顯卡去跑這個模型 比如說即使進入到你的內存裡面去跑的話 也會特別的卡 一般來說比如說你顯存是8G的 那麼像這個文件大小低於8G的 有可能是能夠勉強跑得起來的 比如說我去下載這個模型 我就點動它 選動它 那麼它後面它就會彈出來這個框 就是這個地方會有個叫拉瑪3.1 然後冒號8幣短 就指的是我這個模型 它對應的這個型號 如果說我要去下載這個70幣的 你點了這個70幣 等它切換一下 在後面它就變成70幣了 你把這一串代碼把它複製過來 然後你複製到這個控制檯裡面來 輸入進去 你按enter 它就開始給你去下載這個模型 這個70幣的模型太大了 我的電腦也跑不起來 我就不去下載了 就給大家說一下這個方法 比如說我去找一個小臉的模型 我之前去下載過一個比較小的模型 給大家看一下 你下載的時候它有一個 跑完它有一個這個記錄 有個進度條 在這裡面就是 它會有一個百分之百的這個進度條 然後它最後它會有一個顯示這個success success就是表示你成功了 然後你就把這個模型裝好了 那模型裝好了之後 就是你在安裝的過程當中 你不要看到第一個 就是這個顯示百分之百的 你就把它擦掉了 就是一定要等到它出現了這個success 然後它最後還會讓你去 發送一條信息給它 那麼這個時候纔是表示 你的模型真正的裝好了 那麼裝好了之後 你的模型它有一個列表 就是我電腦裡面其實裝了挺多模型 就是我推薦大家去用的模型 就是大圓模型的話就是這幾個 當這三個模型 只是你下載一個就行了 就我只是測試的時候 我發現這幾個效果還可以 一般來說我們也不會去換來換去的 然後視覺模型的話有Lava的 Lava的就是它有好多版本 一般來說34bit的大部分電腦 應該都是帶不動的 然後13bit和7bit 你們可以去試一下 這個是它可以去做圖片反推的 還有一個最近特別好的 這個mini CPM這個模型 在最新的這個 我們的歐拉瑪裡面也是支持去運行的 你們可以在這方面去搜 你在這個model之類的 頂上去搜 比如說你搜這個mini CPM mini CPM 然後你搜 就會出來這個對應的模型 那麼這個模型它只有一個產量 其他的模型裡面也可以自己搜 Lava的模型的話 其實我沒有去做太詳細的測評 就之前我測評下來做 它其實這個34bit的這個效果特別好 但是另外兩個的話 就是有打折扣的 因為它做了這個量化 然後mini CPM的話 這個是最近新出來的一個特別火的模型 它說它超過了這個GPT-4的一些 這個視覺能力 然後這個是你去下載 你點這個 再複製這一串 它只有一個產量 就是目前你點這個複製 它就會自動的開始給你去下載 然後這些模型下載好了之後 它在本地保存的路徑 簡單跟大家說一下 就是它是在C盤 然後user 找到這個用戶 然後找到你的用戶名 這邊 然後它找到這個TierOlama 在這個文件夾裡面 它是這樣子存的 但這裡面它其實存的都是一些 這種格式 就是你其實基本上看不懂 對於新手來說 不太建議大家去更改這個路徑 就是你改了之後 你可能改的 你自己都看不懂 這個怎麼去改的 那麼如果說你有一定的經驗 你可以自己去搜索 網上也有一些相關的教程 這個我們在這個課程裡面 就不建議大家去這樣子去改了 我自己也是沒有改的 因為你一旦哪一個路徑改錯了 你可能整個這個程序就運行不起來了 然後這個模型我們下載下來之後 我們怎麼去真正的去把它跑起來 我們再回到這邊 我先把它關掉 我重新從這個命令提示符裡面打開 那麼我們輸這個Olama之後 它不是有一個命令行的提示嗎 就是我們有哪些模型 其實上方可以有一個List 它可以在這邊 給你做一個列表的展示 我們輸這個Olama 然後輸這個List 好 這邊它就會彈出來 我所有的這個Olama 就是我這裡面裝的模型 比如說這個MiniCPM 這個它是最新的一個模型 然後這個什麼Lava 我下載了好多版本 Lava的13bit 然後Lava的還有這個7bit 什麼Lava的這個34bit 我都有 還有一些其他的 我在測試的模型 當然你們不需要去下載這麼多 比如說我下載這個 同意簽問的這個 2的這個 我是下載了7bit這個模型 這個模型 大部分的電腦都可以跑得起來的 那假如說我想去運行這個模型的話 就輸這個Olama 然後我輸這個Brown 它這上面它其實有提示的 就是Brown這個 就是指的是我去跑這個模型 但這個跑這個模型 前提是你要有這個模型 如果說你沒有這個模型 你點這個Olama Brown的話 它就會先去下載這個模型 然後我們把這個模型的名字 比如說同意簽問2 7bit這個 按一下空格 然後在後面複製給它 Olama Brown 然後中間都是一個英文的空格 然後帶上你這個模型的全稱 然後點擊Enter 它這邊就開始在轉 然後這邊可以去發送一條信息給它 比如說你好 OK 它就會問你 有什麼可以幫助你對吧 那麼比如說我隨便的去測試了一些文本 我之前我們做這個 CPT的時候我們也去測試過的 比如說我說我是一個建築師 然後我有一些什麼設計的需求的 讓它幫我去找一下這個 參考的靈感 我們來看一下 它就開始在幫你寫了 這個就是大圓模型在本地去運行的 因為同意簽問 它是中國人去訓練的 它的這個語調庫裡面 對中文的這個理解 可能會相對來說比較好一些 推薦大家首推的 就是用這個簽問2的這個模型 簽問2它有好幾個版本 就是再給大家去說一下 模型它的版本 大家下的時候不要去下錯了 輸這個QW1N 簽問2 7B這個它文件大小隻有4.4個G 這個大部分人應該都是跑得起來的 然後更大的這個就是41G的這個 這個我的電腦也跑不起來 4090它也沒有這麼大的顯存去跑它 7B的這個 我覺得對大部分人來說都是挺好用的 還有這個模型我之前測試過也挺好的 這個模型也還可以吧 這個大家可以根據自己的習慣 也可以去網上去搜一下 相關那些模型的介紹 如果說你覺得有更好用的 你可以去自己去用 如果說你不瞭解這個 我就推薦你去用這個就好了 然後視覺模型我更推薦大家 現在因為這個是新出來的 直接去用這個就好了 這個如果說你電腦帶不動 你就可以先忽略掉它 那麼這是我給大家推薦的模型 然後我們使用方式就在控制檯去運行 orama run就可以了 然後它除了我們可以去輸這個文字 我們說了有視覺模型 那麼視覺模型它是做什麼事情 比如說我去orama run一個新的模型 我把這個就關掉 我重新來跑一個 比如說我們跑這個miniCPM orama 然後先list 先看一下我們有哪些模型 然後複製它的名字 然後我們再來orama run orama run 然後把這個模型的名字 直接給它複製過去 miniCPM 然後這個直接複製 粘貼 按enter 它這邊會稍微的轉一下圈圈 它就加載一下 然後它就可以去讓你發送這個信息 那麼這個時候怎麼發送這個信息 我們可以這樣子發送 比如說請詳細描述這張圖片 那麼這個圖片我們怎麼去寫 我們可以這邊再按一個空格 就是請詳細描述這張圖片之後 後面一定要接一個空格 然後再去接入這個圖片的地址 比如說這邊有一些測圖的圖片 比如說右鍵 去複製一下這個文件地址 如果說你是Win10 或者是一些更老的版本 可能它在右鍵的地址稍微有點不一樣 你可以顯示更多的選項 你可以去把它全部展開 應該都是有複製文件地址的 全部展開了之後在這 複製文件地址 然後我們把它粘貼過來 請詳細描述這張圖片 後面一定要接個空格 再把它粘貼過來 這是它的詳細的地址 這是一個絕對路徑 然後我們點擊Enter 它這邊顯示Add image之後 就表示它讀取到這張圖片 然後這下面就是它對這張圖片的描述 這張圖片描述了一個什麼東西 然後這是它對這個圖片的一個描述 其實這個描述的質量還可以的 大家可以看一下 它這個描述這個mini cp 它自己它這個官方的這個文檔宣稱 是它比GPT-4的 它這個描述能力還要強一些 比如說我們去換一個室內的這個場景 我們再來複製一下這個文件地址 按一下Enter 它這邊顯示了這個Add image 就表示這個圖片被讀取到了 然後它這邊就會詳細的去描述這個圖片 你看這個描述這個室內空間也沒有問題 我們再去描述一個人物 比如說這個 我們把這個圖片把它的文件路徑複製一下 複製文件地址 請詳細描述這個圖片 按下空格 然後再粘貼這個圖片的路徑 這一張圖片應該是讀錯了吧 它加載的這個圖片 這張圖片它描述的就不對 這個怎麼是上面的這個 它回答的問題還是上面這個問題 這個就有可能是可能讀錯了 把關了重新來啟動一下 直接olama 一般來說我習慣是在命令行裡面去這樣子執行 list 然後先顯示所有的模型 然後再run 然後我們再來執行這個 然後它就可以發送這個指令了 你甚至可以去發送英文 我們現在還是用中文的吧 就是你如果說輸的是指令是英文的 比如說describe the image in detail 那麼它就可能就會回答的 你的這個圖片的描述也是用英文的 我們還是先用中文來 OK 好按下空格 然後複製這個文件的地址 複製文件地址 然後把它粘貼過來 這樣子就對了 剛剛它描述是傢俱 應該是出錯了 展示了一個人在運動當中 然後正在像一個籃球框投籃對吧 這個就是沒有問題的 身上的數字帶著什麼100 這個應該不是 這個是左上角的這個數字100 這個就是很準確的描述這個圖 這個是沒有問題的 然後如果說你要用英文的描述的話 你比如說describe 我看一下describe 然後我們再去接這個 複製文件地址 然後粘貼過來 它還是用中文在描述 這個olama 有時候你使用的時候 可能會遇到一些小bug 或者報錯 有時候突然連不上來什麼的 有時候需要重啟一下 這個是目前在用這個版本的時候 會遇到這個情況 就是我有時候也是經常要去重啟一下olama 然後我們輸這個list olama run 好了粘貼 複製 這個是視覺模型 然後就有了 然後我們再來describe 空格 然後再去接這個文件的路徑 好這樣子它就是用英文去描述 然後這image 什麼youngman 對吧 什麼 這個就沒問題了 這個是一個詳細的用法 然後我們看一下還有什麼東西 沒有給大家去介紹到的 如果說我們要去卸載模型 比如說你裝了模型有多的 比如說我這裡面 比如說這個lava34b這個模型 這個運行起來太費這個顯存了 就是我基本上平時也很少去用到它 我就把它卸載了 那如果說卸載的話 比如說我在這邊 我就輸這個olama 你可以先輸這個olama 它其實會有提醒你的 你直接輸這個olama 不對 我們要先把它關掉 這個是在接著上次的這個對話 把它關掉 我們來卸載一個模型重新啟動 然後你直接在這邊輸這個olama 它這邊就有提醒你 你要去刪除一個模型 就是輸這個指令 rm就是這裡 然後你把這個olama的list olama的這個模型把它展示出來 list 然後我們這邊就說olama 然後rm 然後你去接這個 比如你要去卸載那個模型 你要去卸載這個模型 你就點擊複製它 然後把它粘貼過來 然後點擊enter 就可以卸載掉 我這邊就先不去卸載了 我卸載一個別的 這個因為我後面還要做對比的測試 我就先把它留著 比如說我去卸載 比如這個13bit的這個 13bit這個它不上不下的 就是它比上不足 比下也稍微的有點有餘 但是它這個大部分電腦 其實帶的也比較 比較激烈 就是你如果說你電腦帶不動 你可以用nava 7bit這個 目前來說新的這個 應該是這個比較好用一點 nava的這個 你們可以下載 也可以不去下載 那麼這樣子它就直接 就給你卸載掉了 這個卸載是很快的 就一下就給你卸載掉了 然後呢 它看你安裝的模型 olama list 啟動服務這個是什麼意思呢 啟動服務就是 有時候我們要去跟 一些別的軟件 去配合起來去使用 比如說我們後面會給大家介紹 我們可以去 在一個圖形界面裡面去 比如說我們用到的這個叫 anythingllm 這個裡面去用的話 你就要去啟動它的服務 包括你要在config裡面 去使用這個olama 那麼你要去啟動它的服務 那麼啟動服務的話 這個指令大家要記一下 叫olama serve 這個serve 它啟動了之後 如果說它啟動失敗了 它可能會提醒你 它說這個地方有一個什麼 這個已經在 這個端口已經被佔用了 就是 那這個你要去檢查一下 這個其實是經常會遇到一個錯誤 有可能就是你 可能之前用了這個olama 它已經啟動它這個服務了 然後呢 你要去檢查一下 比如像這個地方 我這個olama已經開著的吧 我先把它退出了 退出了之後我再來試一下 這個錯誤還挺常見的 就大家如果遇到這個錯誤的話 你看 如果把它關了之後 它還是說這個端口被佔用了 那麼 這個時候你可以在這個 任務管理器裡面去查找一下 如果說你任務管理器裡面查找了之後 還是沒有解決這個問題的話 你可能要重啟一下你的電腦 這個 因為你們在自己實際的使用過程當中 可能也會遇到這個問題 你看這個地方它退出了之後 它還在對吧 我們右鍵 這個任務管理器裡面把它結束任務 olama 這邊olama把它結束任務 然後這邊的這個olama serve 把它結束任務 然後呢 全部把它關了 關了之後我們再重新來啟動一下 我們把這個也關了吧 關了之後我們從這個命令提示服務 或者你輸CMD的吧 重新進來 我們再直接輸這個指令 olama serve 它這樣子它就成功了 就是這個是我比較喜歡 在這個控制檯裡面 就使用它的方式 就是你成功沒有成功的吧 它會有一個很明確的 會有一些這個代碼會提示你 如果說你用的那個圖標 它這個地方就沒有什麼提示 有時候你報錯 你也不知道它為什麼報錯的吧 因為我們在用這個第三方的軟件 去跟這個olama配合起來 就使用的時候 因為olama它是一個命令提示行的 這個交互語言嘛 就包括我們剛剛去測試的 不管你是用文字跟它對話 還是去測這些圖片的吧 它都不是特別的方便 而且它不能跟其他軟件去連動的吧 這個不是特別的 不是特別的一種 不是一種特別方便的一種使用方式吧 就是所以我們一般來說 啟動服務然後把它放到後臺 然後在別的軟件裡面去調用它的服務 那麼這個時候如果說你調用服務 你發現比如說你調用不起了對吧 那麼它出錯了 它這個控制檯裡面會有提示報錯的 如果說你直接是開了一個小圖標對吧 你開的是這個 你如果是這樣子去使用它的話 它就沒有這個報錯提醒你 你就不知道問題出在哪了 所以我比較習慣用CMD的方式去使用它 那麼這個啟動服務之後 它成功了對吧 它就會有這麼一長串的代碼 如果說它失敗了對吧 那麼它就會告訴你 這個地方它的端口被佔用了 所以這個這個指令大家記一下 那麼關於歐拉瑪的話 我們就先給大家介紹這麼多 然後後續還會有一些更進階的這個玩法 這個DJIK先給大家介紹一下 它基本的一些玩法 好那這期先給大家就講到這 謝謝大家