ComfyUI 教學系列:06 Flux 安裝與設定
相關連結: 本課 Flux 工作流程 前往下載 ComfyUI Desktop 桌面版 Beta macOS - 按此下載 Windows (NVIDIA) - 按此下載 Flux 1 模型下載路徑 Flux 1 官方有四種模型,其中只有兩種開放下載使用 Flux 1.1 pro,沒有開放 Flux 1 pro,沒有開放 Flux 1 dev Flux 1 schnell 開放的 dev 與 schnell 每一種又都提供兩個規格(完整版與簡易版)給硬體設備條件等級不同的使用者下載使用。 Full 完整版 完整的功能、效能;硬體要求高 Dev Flux Dev | 下載位置 | 23.8 GB。把下載的檔案放置在 ComfyUI/models/diffusion_models/ 檔案夾中。 Schnell Flux Schnell | 下載位置 | 23.8 GB。把下載的檔案放置在 ComfyUI/models/unet/ 檔案夾中。 共用檔案 不論是使用 dev 或 schnell 模型,都需要下面這兩個檔案 1. CLIP | 下載位置 | 9.79 GB。把下載的檔案放置在 ComfyUI/models/clip/ 檔案夾中。 2. VAE | 下載位置 | 335 MB。把下載的檔案放置在 ComfyUI/models/vae/ 檔案夾中。 Simple FP8 簡易版 畫質比較低、硬體要求沒那麼高 Dev Flux Dev | 下載位置 | 17.2 GB。把下載的檔案放置在 ComfyUI/models/checkpoints/ 檔案夾中。
ComfyUI 教學系列:05 套用風格樣式
本系列內容清單 前往觀看 相關連結: 本課工作流程 前往下載 SDXL 模型 - Juggernaut XL - 前往 Civit AI 網站 SD 1.5 模型 - Realistic Vision - 前往 Civit AI 網站 ComfyUI Desktop 桌面版 Beta macOS - 按此下載 Windows (NVIDIA) - 按此下載 用到的節點 WAS Node Suite | GitHub ComfyUI Easy Use | GitHub Styles CSV Loader Extension for ComfyUI | GitHub WAS Node Suite config 配置設定檔 打開 was_suite_config.json 這個檔案,在裡面會看到這一句 "webui_styles": , 後面要接上你的樣式表檔案的路徑,不過 Mac, Linux 跟 PC 路徑寫法不一樣。可以參考: MAC or Linux >>> "webui_styles": "/路徑/ComfyUI/styles.csv", Windows >>> "webui_styles": "D:\\路徑\\ComfyUI\\styles.csv", Mac 跟 Linux 用的是 / 斜線。Windows 用的是兩條 \\ 反斜線來表示。
ComfyUI 教學系列:04 圖片生成圖片
相關連結: 霓虹效果 LoRA - 前往 Civit AI 網站 炭筆效果 LoRA - 前往 Civit AI 網站 SDXL 圖片生成圖片+ 調整尺寸工作流程 - 按此下載 SDXL 圖片生成圖片工作流程 - 按此下載 SDXL 模型 - Juggernaut XL - 前往 Civit AI 網站 SD 1.5 模型 - Realistic Vision - 前往 Civit AI 網站 ComfyUI Desktop 桌面版 Beta macOS - 按此下載 Windows (NVIDIA) - 按此下載 提示詞 A woman standing on the the street. LoRA 四個優點 以下是 LoRA 在穩定擴散模型中的四個用處: 減少計算成本:與傳統的 HoRA 方法相比, LoRA 可以顯著減少訓練和生成新樣本所需的計算資源。這使得它對於使用強大硬體或在線生成的應用特別有用。 增強可解釋性:LoRA 產生的權重矩陣可以提供有關控制碼如何影響擴散模型行為的洞察。通過分析這些矩陣,研究人員和開發人員可能能夠識別對生成結果最重要的特定模式或特徵,並相應地優化他們的方法。 改進與小數據集的適用性:LoRA 可以幫助解決在擴散模型中使用小數據集時常見的問題,即生成品質不佳或高度模糊。通過將控制碼嵌入到較大的文本語料庫中,而不是單個樣本,LoRA 可以實現更有效的學習和更好的泛化能力。 更容易的微調:與傳統方法相比,LoRA 提供了在不需要從頭開始訓練整個模型的情況下對擴散模型進行微調的便利性。這使得它成為希望將現有模型應用於特定任務或領域的小型開發人員和研究人員的理想選擇。 你可以拿 LoRA 來幹嘛? 以下是 LoRA 的三個應用示例:人、事、物 人物:您可以將模型適配為生成準確描繪特定人的圖像,捕捉其獨特的特徵和風格。 藝術風格:您可以訓練模型以特定的藝術風格創建圖像,例如印象派、超現實主義或特定藝術家風格。 物體:您可以對模型進行微調,以生成特定物體的高質量圖像,例如汽車、家具或小工具。 用到的節點 Load LoRA VAE Decode 過大的參考畫面 跟一般檔案比較: 1024 x
ComfyUI 教學系列:03 文字生成圖片
相關連結: SDXL 基礎工作流程 - 按此下載 Juggernaut XL ver.11 SDXL 基礎工作流程 - 按此下載 SDXL 模型 - Juggernaut XL - 前往 Civit AI 網站 SD 1.5 模型 - Realistic Vision - 前往 Civit AI 網站 ComfyUI Desktop 桌面版 Beta macOS - 按此下載 Windows (NVIDIA) - 按此下載 用到的節點 primitive Group
ComfyUI 教學系列:01 簡介與安裝
相關連結: 本課工作流程 前往下載 SDXL 模型 - Juggernaut XL - 前往 Civit AI 網站 SD 1.5 模型 - Realistic Vision - 前往 Civit AI 網站 ComfyUI Desktop 桌面版 Beta macOS - 按此下載 Windows (NVIDIA) - 按此下載 使用 ComfyUI 的優點 速度和靈活性:ComfyUI 可快速且靈活地創建工作流程。您可以輕鬆配置它執行所需的任務,而不受預定義設定的限制。 視覺清晰度:使用 ComfyUI,您可以看到整個過程的全貌。每個區塊或節點代表特定的功能,您可以觀察到如何生成圖像以及信息在一個節點和另一個節點之間如何流動。 分享和協同作業的便利性:一旦您創建了工作流程,就很容易與他人分享。您還可以導入並使用他人創建的工作流程,營造了一個合作環境。 不需要寫程式:ComfyUI 是為所有人設計的,而不僅僅是開發人員。不需要知道如何編碼即可創建強大的工作流程。只需拖放節點以設計所需的過程。 定制化:您可以根據具體需求定制工作流程,使 ComfyUI 成為一個高度定制化的工具,適應各種任務和專案。 使用 ComfyUI 的缺點 不一致的介面:每個工作流程可能以不同的方式組織節點,這可能會令人困惑。當您打開由他人創建的工作流程時,您可能需要花時間理解其佈局並確定要進行哪些更改。 過多的細節:ComfyUl 顯示了許多關於系統內部運作方式的詳情。雖然這對高級用戶來說是有益的,但對於只想要直接過程的普通用戶來說,這可能會讓他們感到不知所措。豐富的選項和設定可能使一些用戶更難快速上手。 學習曲線:儘管不需要編碼,但仍然與有效使用節點和構建工作流程相關聯有一個學習曲線。初學者可能會發現很難一下子掌握所有功能和能力。 效能:根據工作流程的複雜性和系統的強大程度,效能可能會有所不同。如果您不符合推薦的系統要求,資源密集型任務可能會讓您的電腦變慢。 協同作業挑戰:儘管分享工作流程很容易,但由於節點組織不一致,協同作業有時會有困難。不同的操作者可能採取不同的方法,這會讓想要無縫整合多個工作流程來源變得困難。 客制化開銷:高度的定制化有時是一把雙刃劍。用戶可能會花費大量時間調整和微調節點,而不是專注於主要任務,從而導致潛在的低效率。
安裝當今最頂尖的開源模型 FLUX.1-dev
Flux.1 是 Black Forest Labs 開發的一系列從文字到影像 (generating images from text descriptions) 的模型,個人覺得這個系列模型超越了 SDXL 和 Stable Diffusion 3 的品質。截至 2024 年 8 月,這個模型私心覺得應該是個人電腦上最佳開源影像模型。
安裝 ComfyUI 管理模組
ComfyUI manager 是一套開源軟體,主要的功能是依附在 ComfyUI 底下,讓你可以方便的安裝、刪除和更新其他自定義節點的管理工具。 由於我使用的是 Mac Studio 電腦,因此所有的操作示範都是以 Mac 為主。使用 Windows 的朋友請自行到網路上尋找相關資訊。 安裝方式 同樣是使用終端機 Terminal 來作安裝。你可以在 /Applications/Utilities/ 這個路徑裡面找到終端機這套軟體。 先把路徑切換到 ComfyUI 這套軟體裡面的 custom nodes 檔案夾 cd /你的軟體安裝路徑/ComfyUI/custom_nodes 從雲端下載 ComfyUI manager 這套軟體 git clone https://github.com/ltdrdata/ComfyUI-Manager 跑完之後,重新開啟 ComfyUI 軟體,在操作介面中就可以看到了。 真的就是這麼簡單。 參考資料 ComfyUI Manager 網址 - https://github.com/ltdrdata/ComfyUI-Manager
在 Mac 上安裝 ComfyUI
ComfyUI 也是一套 Stable Diffusion 系列的 AI 繪圖軟體。與 Stable Diffusion Web UI 差別在哪?就是操作方式;有別於 Stable Diffusion WebUI 網頁調整方式,ComfyUI 採用的是「節點Node」工作流程控制法。更加的靈活、方便、有效率。
如何在 Mac 上安裝 Stable Diffusion 軟體?
這篇文章是【如何在 Mac Studio 安裝 Stable Diffusion WebUI 軟體】202309 的更新版 文中所說的 Mac 電腦指的是 CPU 採用自家研發 M 系列晶片的蘋果電腦,而非 Intel 版本晶片。使用 Intel 晶片需求的朋友請自行另外尋找相關資料。 想用,又不想麻煩 想要在自己的電腦跑 AI 人工智慧繪圖軟體又不想麻煩的話,使用 Mac 電腦的朋友們可以下列這些軟體都可以直接使用,不用費腦筋安裝: Diffusers - 這裡 DiffusionBee - 這裡有文章 Draw Things: AI Generation - 這裡 安裝紀錄 為了幫助大家更能夠理解整個安裝過程,特別製作了操作教學影片帶著大家操作一步一步,有需要的朋友請至 YouTube 觀看。 利用 AI 人工智能來繪製圖片是相當熱門的話題,也有一陣子了。一般的方式都是上網,進到某個 AI 繪圖網站透過遠端網站的軟體以及運算能力幫我們繪製出圖片,再回傳到我們的瀏覽器當中。這個方式最主要的缺點有幾個: - 通常要費用:免費的話有數量的限制。 - 需要線上操作:如果沒有連接網路,也就沒有辦法使用。 - 資料要上傳到雲端。 所以這次打算安裝軟體在自己的電腦上,使用自己電腦的 CPU、GPU 來運算,也不會慢到哪去!更重要的是所有的資料都在自己的電腦上,相對安全很多。 提醒大家,要注意網路資料的安全 這篇文章是 MacOS 安裝過程,由於我沒有使用其他作業系統,需要的話請自行查詢 安裝環境 這台電腦是 Mac Studio M1 Max 配備有 64GB RAM 作業系統是 macOS Ventura 13.5.1 需要用到的主要軟體 Stable Diffusion web UI:這是我們這次主要使用的程式,專案網頁在這裡 Python 3.10:Mac 系統內建的是 Python 3.9.x 版本不夠,因此需要重新下載安裝。Python 官網在這裡 Git:Mac 作業系統內建 Homebrew:用來安裝 Apple 沒有預裝,但是你需要的東西。Homebrew 官網在這裡 Stable Diffusion Model 模型:是 AI 繪圖重要的元件,檔案都不小建議先下載。AI 繪圖可以同時安裝許多不同的模型,軟體安裝的時候也會自動安裝一個模型。剛開始的朋友下載一兩種先來試試看就好。 安裝步驟 Overview 檢查電腦裡面有沒有 Homebrew
兩套 Mac 專用的 Stable Diffusion AI 繪圖軟體
很多朋友對 AI 人工智慧生成圖片很有興趣,也開始動手將軟體安裝在自己的電腦上想要親自試試。網路上最多的就是 Stable Diffusion 其中一個開源項目 webui 。把整個操個操作方式從終端機模式改成網頁模式,造福很多不喜歡使用終端機操作的使用者。也因此網路上有許許多多的教學產生。導致有很多新朋友以為 Stable Diffusion 就是這個樣子;或是只有這套軟體。 由於 webui 是把軟體的原始碼搬到你的電腦上,再開始執行,因此需要很多對應的軟體能夠同時搭配主程式才能夠順利的開始運行,也導致很多朋友來信說可以安裝,但是無法執行。 順便在這邊提供一個建議,執行的時候把終端機視窗打開放在旁邊。執行軟體,寫下關鍵詞開始運算,終端機視窗會連動開始跑。如果有出現軟體的問題,可以在這個時候看到它停在哪裡?或是出現什麼指示?再想辦法去解決。 由於我是使用 apple 蘋果電腦的使用者,這裡提供兩套同樣執行 Stable Diffusion 的軟體給朋友們。這種軟體的好處是,它已經打包完畢變成一個可單獨執行的軟體。只要你使用的電腦規格符合,就可以順利執行,開心的執行 AI 繪圖就好,不必再花腦筋浪費時間解決軟體方面的問題。 我相信 Windows 也有這些類型的軟體。 Diffusion Bee v 1.7.4 官方網站 https://diffusionbee.com 專案位置 https://github.com/divamgupta/diffusionbee-stable-diffusion-ui 下載網址 https://diffusionbee.com/download 特點 免費、開源的軟體 完全的數據隱私 - 除非您選擇上傳圖片,否則不會將任何數據發送到雲端。 乾淨且易於使用的用戶界面,具有一鍵安裝程序。 Image To Image(圖像到圖像)功能:可以將一張圖像轉換為另一張圖像。 In-painting Out-painting 生成歷史記錄:記錄操作的歷史,方便查看和修改之前的操作。 圖像放大功能:可以將圖像放大,提高圖像的解析度和細節。 多種圖像尺寸:支持多種圖像尺寸選擇,以滿足不同的需求。 軟體針對蘋果的 M1/M2 晶片進行了優化,提供更好的性能和效能。 在您的電腦上本地運行:軟體完全在本地運行,不依賴於網路連接。 負面提示詞:提供負面提示詞,幫助您改進圖像處理結果。 進階提示詞選項:提供進階提示詞選項,讓您更精確地控制處理結果。 有 ControlNet 可能是缺點 沒有中文版 太容易使用? 沒有太多的控制項目 第一次開啟使用這套軟體會跑得比較久,是因為它要下載預設的模型。以後開啟軟體就不會這麼久了。除了預設的模型之外,也可以下載網路上其他各式各樣的模型。 整個操作介面,設計的相當容易操作。該有的功能也都有,像是 Text To Image, Image To Image, In painting, Out painting 以及 Control Net 都很完整。 一些設定都放在視窗右上方的位置,很容易找到,設定裡面也可以自行添加不同的模型,方便你在繪圖時隨意地切換。 這裡還有一個 Style 風格欄位,裡面已經分門別類的寫好了許多畫面設定時候會用到的關鍵詞,可以直接套用非常方便,這點對新朋友來說非常的有用。 Mochi Diffusion v 4.0 專案位置 https://github.com/godly-devotion/MochiDiffusion 下載位置 https://github.com/godly-devotion/MochiDiffusion/releases 特點 有中文版 極快而且記憶體佔用低(使用神經引擎時 ~150MB) 在所有 Apple 晶片上運行良好,充分發揮神經網路引擎的效能