Model CheckPoint và LoRA trong Stable Diffusion là hai khái niệm được nhắc đến thường xuyên khi bạn tạo các bức ảnh bằng công nghệ A.I. Vậy Model CheckPoint và LoRA là gì? Chúng có ý nghĩ như thế nào trong lĩnh vực Machine Learning. Hãy cùng đi sâu tìm hiểu về Model CheckPoint và LoRA, cũng như cách ứng dụng vào công cụ vẽ tranh AI Stable Diffusion ở bài viết này.
Giới thiệu
Stable Diffusion (SD) là công cụ ứng dụng trí tuệ nhân tạo AI để vẽ nên những hình ảnh độc đáo, sáng tạo nhất hiện nay. Để sử dụng được nó thì không thể nào thiếu các mô hình Model đi kèm. Model CheckPoint là một cách để lưu trữ các trọng số của mô hình đang được huấn luyện, giúp chúng ta có thể tiếp tục quá trình huấn luyện. Trong khi đó LoRA là các mô hình SD nhỏ hơn áp dụng những thay đổi cho các Model CheckPoint tiêu chuẩn. Cùng tìm hiểu chi tiết hơn ở các phần bên dưới bài viết “Model CheckPoint và LoRA trong Stable Diffusion là gì?”
Xem thêm: Dịch vụ nâng cấp tài khoản ChatGPT Plus uy tín tại Việt Nam
Model CheckPoint là gì và cách sử dụng trong Stable Diffusion
Model CheckPoint là gì?
Các mô hình Model, hay được gọi là CheckPoint file, là các trọng số Stable Diffusion được đào tạo (training) trước nhằm mục đích tạo ra một thể loại hình ảnh chung hoặc cụ thể.
Những hình ảnh mà một mô hình có thể tạo ra phụ thuộc vào dữ liệu được sử dụng để huấn luyện chúng. Một mô hình sẽ không thể tạo ra hình ảnh con mèo nếu không có con mèo nào trong dữ liệu huấn luyện. Tương tự như vậy, nếu bạn chỉ đào tạo một mô hình với hình ảnh con mèo, nó sẽ chỉ tạo ra những con mèo.
Bạn có thể tùy chỉnh và tự training mô hình model riêng của mình từ những mô hình lớn ban đầu gọi là mô hình cơ sở như Stable Diffusion Model v1.4 or v1.5. Việc này được thực hiện thông qua 2 phương pháp phổ biến là (1) Đào tạo bổ sung và (2) Dreambooth.
1. Đào tạo bổ sung: được thực hiện bằng cách trainig một mô hình cơ sở với tập dữ liệu bổ sung mà bạn quan tâm. Ví dụ: bạn có thể training Model v1.5 với tập dữ liệu bổ sung về ô tô cổ điển để thiên về tính thẩm mỹ của ô tô đối với thể loại phụ.
2. Dreambooth: do Google phát triển ban đầu, là một kỹ thuật đưa các đối tượng tùy chỉnh vào các mô hình chuyển văn bản thành hình ảnh. Nó hoạt động với ít nhất là 3-5 hình ảnh tùy chỉnh. Bạn có thể chụp một vài bức ảnh của mình và sử dụng Dreambooth để đưa mình vào mô hình.
Các loại mô hình Model phổ biến
Có 2 nhóm mô hình Model là V.1 và V.2 tương ứng với 2 phiên bản dữ liệu. Với phiên bản V.2 sẽ có lượng dữ liệu máy học được đào tạo lớn hơn, độ phân giải hình ảnh cao hơn và nội dung khiêu dâm đã bị xóa bỏ khỏi quá trình đào tạo.
Dựa trên 2 nhóm mô hình này người ta tạo ra 4 loại tệp model khác nhau là:
1. Model CheckPoint: Đây là những mô hình SD thực sự. Chúng chứa tất cả những gì bạn cần để tạo một hình ảnh. Không có tập tin bổ sung được yêu cầu. Chúng có kích thước lớn, thường là 2 – 7 GB.
2. Textual inversions: Là mô hình đảo ngược văn bản hay còn được gọi là nhúng (embed). Chúng là các tệp nhỏ xác định từ khóa mới để tạo đối tượng hoặc kiểu mới. Có kích thước nhỏ, thường là 10 – 100 KB. Bạn cần sử dụng chúng với mô hình Model CheckPoint.
3. Mô hình LoRA: Chúng là các tệp vá lỗi nhỏ cho các mô hình CheckPoint để sửa đổi kiểu. Chúng thường có kích thước tệp từ 10-200 MB. Bạn cần sử dụng chúng với Model CheckPoint.
4. Hypernetworks (Siêu mạng): Chúng là các mô-đun mạng bổ sung được thêm vào các mô hình CheckPoint, thường có dung lượng cỡ 5 – 300 MB. Bạn cần sử dụng chúng với một mô hình CheckPoint.
Cách cài đặt và sử dụng mô hình Model trong table Diffusion
Để cài đặt một mô hình Model CheckPoint vào ứng dụng Stable Diffusion, đầu tiên phải phải tải tập tin Model về (tập tin có định dạng đuôi .ckpt). Sau đó bạn cần chép file này vào thử việc của SD ở đường dẫn sau:
stable-diffusion-webui/models/Stable-diffusion/
Truy cập vào ứng dụng Stable Diffusion và nhấn nút Tải lại bên cạnh hộp thoại Stable Diffusion checkpoint để load thư viện model. Tiếp theo hãy chọn tệp CheckPoint mới mà bạn vừa tải về để sử dụng mô hình.
Cách hợp nhất hai mô hình Model
Tại sao phải hợp nhất hai mô hình Model với nhau?
Mỗi Model CheckPoint trong Stable Diffusion điều được huấn luyện trên một tập dữ liệu lớn ban đầu. Mỗi mô hình này sẽ có phong cách và những thuộc tính riêng để tạo ảnh A.I theo đúng những gì được huấn luyện Như ví dụ ở phần trước, một Model được huấn luyện với dữ liệu không có hình ảnh của con mèo thì không thể nào tạo ra ảnh A.I có chứa con mèo được. Để khắc phục nhược điểm này thì trong giao diện GUI SD cung cấp một tính năng là CheckPoint Merger cho phép hợp nhất 2 mô hình model với nhau.
Điều này sẽ giúp phong phú hơn kho dữ liệu tạo ảnh A.I của bạn. Tuy nhiên, nó cũng có mặt trái là nếu không kết hợp đúng có thể làm mất đi bản chất, mục đích của model ban đầu được tạo ra. Đồng thời, kích thước dữ liệu sẽ tăng lên khi hợp nhất 2 CheckPoint với nhau.
Cách hợp nhất Model
Để hợp nhất hai mô hình Model trong Stable Diffusion, hãy chuyển đến tab Checkpoint Merger và chọn hai mô hình bạn muốn hợp nhất ở Primary model (A) và Secondary model (B) .
Điều chỉnh hệ số nhân Multiplier (M) để điều chỉnh trọng lượng tương đối của hai mô hình. Đặt nó thành 0,5 sẽ hợp nhất hai mô hình với tầm quan trọng như nhau.
Sau đó nhấn Run, mô hình hợp nhất mới sẽ có sẵn để sử dụng.
Một số mô hình Model CheckPoint phổ biến và link download
Vì Stable Diffusion là một thư viện mở, nên tất cả mọi người điều có thể tự phát triển và training một Model CheckPoint theo phong cách riêng của mình. Chính vì vậy, nguồn Model được chia sẻ rất nhiều trên cộng đồng tạo ảnh A.I. Dưới đây là một số nguồn bạn có thể tải về các bản Model CheckPoint phổ biến:
- civitai.com
- huggingface.co/models
- Arthub.ai
- lexica.art
- stable-diffusion-art.com
- https://rentry.org/sdmodels
- https://github.com/Maks-s/sd-akashic
- mpost.io/best-100-stable-diffusion-prompts-the-most-beautiful-ai-text-to-image-prompts/
Nếu bạn cảm thấy có quá nhiều model và không biết phải chọn cái nào, thì AIChatGPT.vn chia sẻ một số link để bạn có thể tham khảo và sử dụng bên dưới:
- Model Stable Diffusion gốc V1.4 (Model V1.4 original): được phát hành vào tháng 08-2022 bởi công ty chính Stability AI.
- Model Stable Diffusion gốc V1.5 (Model V1.5 original): được xuất bản tháng 10-2022 bởi Runway ML, một partner của Stability AI.
- Model ChilloutMix: là một mô hình đặc biệt để tạo ra những phụ nữ châu Á có chất lượng ảnh chân thật. Đây là model được nhiều anh em Việt Nam sử dụng và tinh chỉnh. Nó luôn đúng top 1 trên Civitai vì những hình ảnh đầu ra của nó cực kỳ tốt. Nó cũng tạo ra ảnh khỏa thân nude (nsfw) và ảnh chân dung.
- Model F222: được đào tạo với mục đích tạo ra các ảnh nude (nsfw), và các ảnh chân dung phụ nữ rất chân thật theo phong cách châu Âu.
- Model Anything V3: một mô hình được training với mục đính đặc biệt để tạo ra những hình ảnh theo phong cách anime chất lượng cao.
- Model Dreamshaper: được tinh chỉnh để phù hợp với phong cách minh họa chân dung nằm giữa đồ họa quang học và đồ họa máy tính.
- Waifu Diffusion: là một model mang phong cách anime Nhật Bản.
- Robot Diffusion: là một mô hình kiểu rô bốt thú vị sẽ biến mọi đối tượng của bạn thành rô bốt!
- Inkpunk Diffusion: là một mô hình được Dreambooth đào tạo với phong cách minh họa rất khác biệt.
Mô hình LoRA là gì và cách sử dụng chúng
Mô hình LoRA là gì?
LoRA là một kỹ thuật đào tạo để tinh chỉnh các model Stable Diffusion. Nó là một mô hình nhỏ áp dụng một số thay đổi nhỏ cho các Model CheckPoint tiêu chuẩn. Mô hình LoRa thường có dung lượng từ 10 – 200M nhỏ hơn rất nhiều lần so với các file checkpoint. Vì vậy, nó dễ dàng để tải xuống và làm phong phú thêm bộ sưu tập ảnh A.I của bạn. Bạn không thể chỉ sử dụng mô hình LoRA . Nó bắt buộc phải được sử dụng với tệp model CheckPoint.
Cách cài đặt và sử dụng LoRA trong Stable Diffusion
Để cài đặt mô hình LoRA trước tiên bạn cần có các tập tin LoRA. Để có nó bạn có thể tải về từ một số nguồn chia sẻ từ cộng đồng hoặc tự mình training mô hình. Một số nguồn để download được chia sẻ ở phần sau. Tiếp theo, bạn hãy mở thư viện Stable Diffusion và đặt các tệp mô hình LoRA vào thư mục:
stable-diffusion-webui/models/Lora
Để sử dụng mô hình LoRA, bạn chỉ việc đặt cụm từ sau vào lời nhắc: <lora:filename:multiplier> trong đó:
- filename: là tên tệp của mô hình LoRA, không bao gồm phần mở rộng ( .pt, .bin, v.v.).
- multiplier: là trọng số áp dụng cho mô hình LoRA. Giá trị mặc định là 1. Đặt giá trị này thành 0 sẽ tắt mô hình.
Có một cách chính xác và nhanh hơn đó là bạn vào giao diện GUI của SD và bấm vào nút “Ipod” như hình bên dưới:
Sau đó nhấp vào tab Lora. Bạn sẽ thấy một danh sách các mô hình LoRA được cài đặt. Bấm vào cái bạn muốn sử dụng và cụm từ LoRA sẽ được chèn vào lời nhắc.
Những lưu ý khi sử dụng mô hình LoRA
- Bạn có thể điều chỉnh hệ số nhân multiplier để tăng hoặc giảm hiệu ứng. Đặt hệ số nhân 0 sẽ tắt mô hình LoRA. Bạn có thể điều chỉnh hiệu ứng kiểu trong khoảng từ 0 đến 1.
- Một số mô hình LoRA được đào tạo với Dreambooth. Bạn sẽ cần bao gồm một từ khóa kích hoạt để sử dụng mô hình LoRA. Bạn có thể tìm thấy từ khóa kích hoạt trên trang của mô hình.
- Bạn có thể sử dụng nhiều mô hình LoRA cùng một lúc. Bạn cũng có thể sử dụng chúng với các phần nhúng khác.
- Cụm từ LoRA không phải là một phần của câu nhắc. Nó sẽ bị xóa sau khi áp dụng mô hình LoRA.
Thư viện tải mô hình LoRA phổ biến
Bạn có thể tìm kiếm các mô hình LoRA phổ biến tại các thư viện chia sẻ như:
- Civilitai.com
- HuggingFace.co
Bạn cũng có thể tải về một số mô hình LoRA bên dưới:
- Ao Yem – Vietnamese Dress: tạo trang phục áo yếm truyền thống Việt Nam. => Link download
- Vietnamese traditional dress – Ao dai: tạo trang phục áo dài Việt Nam. => Link download
- Ao Dai – Vietnamese Long Dress: một tùy chỉnh khác của trang phục áo dài Việt Nam. => Link download
- Shukezouma: chủ đề tranh vẽ theo phong cách cổ xưa của Trung Quốc => Link download
- GuoFeng3: mô hình tạo ảnh phong cách Trung Hoa => Link download
- Akemi Takada: minh họa truyện tranh Nhật Bản theo phong cách cổ xưa => Link download
- DC Comics Marvel: mô hình theo phong cách siêu anh hùng. => Link download
Kết luận
Trong Stable Diffusion, Model CheckPoint và LoRA đóng vai trò rất quan trọng để giải quyết các vấn đề liên quan đến việc huấn luyện mô hình. Model CheckPoint giúp cho việc định hình kiểu phong cánh ảnh AI với mô hình dữ liệu lớn. Trong khi đó LoRA giúp cho người dùng dễ dàng tinh chỉnh với dung lượng nhẹ hơn. Nếu biết kết hợp giữa 2 loại mô hình này sẽ cho bạn những bức ảnh A.I đầy sáng tạo, chân thực và sống động nhất.
Hay
Tuyệt vời