การ ใช้งาน Lora แบบ ปกติ และ ปัญหา ที่พบเจอ

Lora คือ โมเดล เสริม ที่ใช้งาน คู่กับ Checkpoint model ใน โปรแกรม เอไอ ทำภาพ Stable Diffusion

Lora สามารถ เทรนโมเดล เองได้ จาก คอมพิวเตอร์ ของตนเอง ช่วยให้ เอไอ ทำภาพ ที่แปลกใหม่ แล้วมี เอกลักษณ์ ของเราได้ สะดวกมาก ยิ่งขึ้น จึงเป็น ที่นิยม และใช้งาน กว้างขวาง

การใช้งาน Lora จะประกอบ ไปด้วย 2 ส่วน คือ

Lora Model ส่วนใหญ่ จะเป็น ไฟล์ นามสกุล safetensors เหมือนกับ checkpoint model แต่มี ขนาดเล็ก กว่ามาก (16MB – 600MB)

Trigger word คือ คำ หรือ ข้อความ ที่บ่งชี้ ถึง เอกลักษณ์ ใน Lora โมเดลนั้น อาจจะ เป็นชื่อ คำบรรยาย ที่ชัดเจน ใช้ เขียนใน Prompt เพื่อให้ ภาพ ที่สร้าง จากเอไอ มีรายละเอียด ถูกต้อง กับ ลักษณะ งาน เช่น

Lora ชุดไทย มีการ ใช้คำว่า Sabai เป็น Trigger word และ อาจจะ เสริม ด้วย jewelry เพื่อ ให้ทราบ ถึง รายละเอียด เครื่องประดับ ของชุดนั้น

Trigger word จะถูก กำหนด โดย ผู้สร้าง Lora นั้น บางโมเดล อาจจะ ไม่จำเป็นต้องมี หรือ ผู้สร้าง ลืมใส่มาให้ อันนี้ ต้องสอบถาม กันดูนะ

ปัญหา ที่มัก พบเจอ คือ ไฟล์ ส่วนใหญ่ ที่ ดาวน์โหลด กันมา มักมี แค่ไฟล์ ไฟล์เดียว และยัง นามสกุล เหมือนกัน หมดด้วย

ถ้า ดาวนโหลด มารวมไว้ที่เดียวกัน แล้วจะแยก อย่างไร ว่าไฟล์ไหน คือ checkpoint ไฟล์ ไหน Lora ไฟล์ไหน Embledding………..???

การดู ชื่อไฟล์ กับ ขนาด file size อาจจะ ช่วยได้ ในเบื้องต้น แต่ไม่เสมอไป

การดาวน์โหลด ไฟล์มาแล้ว จัดแยก ประเภท ตั้งแต่แรกเลย ตามที่ ผู้พัฒนา ระบุมา จะ ช่วย ให้ลดปัญหา ลงมาได้

การจัดเก็บ และ จัดเรียง Lora Models ให้ ค้นหา สะดวก ใช้งานง่าย

การใช้งาน Lora ส่วนใหญ่ จะต้อง นำโมเดลไป วางไว้ ยังตำแหน่ง ที่กำหนด เช่น

stable-diffusion-webui-forge\models\Lora

หรือ ComfyUI\models\loras

โปรแกรม เอไอ ก็จะ สามารถ เข้าถึง และเรียก ใช้งาน Lora model เหล่านี้ได้

แต่มีอีก สิงนึงที่ มัก ใช้งานผิด คือ Lora ต้อง ใช้งาน คู่กับ Checkpoint หรือ โมเดลหลัก ให้ประเภทตรง กันด้วย

ถ้า Checkpoint เป็น Model ประเภท อะไร Lora ก็ต้องเป็น ประเภท เดียวกัน เช่น

Flux checkpoint model ก็ต้องใช้งาน ร่วมกับ Flux lora ไม่สามรถ ใช้งานกับ SDXL Lora หรือ SD1.5 lora ได้

และ การระบุ ประเภท ต่างๆ ของ โมเดล ถ้า ผู้สร้าง ระบุประเภท ในชื่อLora ยัง พอจำแนก ได้

flux_idol_costume_style2_v1.safetensors

idol_costume_style2_v1.safetensors

แต่ ถ้าไม่ได้ ระบุอะไร มา ก็ต้องดู จากแหล่งที่ download มา ว่า ผู้สร้าง สร้าง มาสำหรับ Checkpoint model ประเภท ไหน

รายละเอียดที่ แสดงใน CivitAI จาก ภาพด้านบนนี้

ประเภท LORA

สถิติการใช้งาน มีการดาวน์โหลด 311 ครั้ง

สร้างภาพบน civitai ด้วยโมเดลนี้ 44 ครั้ง

รีวิวเชิง บวก (31) คน

เผยแพร่ 30 ตุลาคม 2024

โมเดลพื้นฐาน Flux.1 Dev

Trigger word

a woman in idol dress with long sleeves and belt and bow and blue capelet and black boots, she has long black twintails hair with blue hat

การสร้าง Sub folder ใน Lora

สำหรับ การใช้ งานของผมเอง ผม แนะนำว่า ให้สร้าง folder ย่อย ใน folder Lora อีกทีนึง เพื่อ สะดวก ในการแยกแยะ Lora แต่ละ ประเภท เช่น

• SD1.5
• SDXL
• Flux

และ ในแต่ละ Folder ยัง สามารถ สร้าง ย่อยลงไปได้อีก เช่น

• Flux
  • Cartoon style – สำหรับ Lora เกี่ยวกับ 2D, Animation, Watercolor style
  • Photorealistic – สำหรับ คาแรกเตอร์, สไตร์ชุดเสื้อผ้า, โทนกล้อง โทนภาพ
  • Detail feature – สำหรับ Lora ที่ ช่วยในการปรับแสง ปรับภาพ ให้ได้รายละเอียด โทนสีแบบต่างๆ

การ จัดเก็บ โมเดลแบบมีระบบ จะช่วยให้ ใชข้งานได้สะดวก เวลา เพิ่ม, แก้ไข หรือ เรียกใช้งาน ก็ทำได้ รวดเร็วมากยิ่งขึ้น

การ ใส่ ภาพปก สำหรับ model

โมเดลที่ ดาวน์โหลด มา จะมีแค่ไฟล์ safetensors ที่เป็นไฟล์ โมเดล เมื่อใช้ ในระบบ จะเห็น เป็น ชื่อโมเดล เท่านั้น ยิ่งมี โมเดล จำนวน มากๆ เราอาจจะ แยกไม่ ถูกว่า โมเดล นี้ เป็นงาน แบบไหน

ภาพตัวอย่าง ที่แสดงในแอฟ SD-WebUI ถ้าไม่ได้ ใส่ภาพตัวอย่าง

เรา สามารถ ทำ ปกโมเดล นี้ ได้ง่ายๆ เพียง เซฟ ไฟล์ ภาพ ที่เกี่ยวข้อง กับ โมเดล มาวาง ไว้ ตำแหน่ง เดียวกับ ไฟล์ safetensors แล้ว แก้ไข ชื่อ ให้ ตรงกับ ชื่อ โมเดล นั้น (ไฟล์ภาพใช้ได้ทั้ง PNG หรือ JPEG)

เพียง เท่านี้ เวลา เปิดใช้งาน โมเดล ใน โปรแกรม Stable Diffusion ก็จะเห็น ภาพปก หรือ ตัวอย่าง ของโมเดล นั้นแล้ว

วิธีนี้ ใช้งานได้ กับ โมเดล ทุกประเภท ที่แสดง ใน หน้า Stable Diffusion

• Textual Inversion [ Embedding]
• Checkpoint
• Lora

หรือ ติดตั้ง CivitAi Helper extension เพื่อช่วย ดึงข้อมูล โมเดล จาก บนเว็บไซต์ มา ติดตั้ง บน เครื่อง คอมพิวเตอร์ ของเรา

https://github.com/zixaphir/Stable-Diffusion-Webui-Civitai-Helper

ComfyUI Lora Manager

การ ใช้งาน Lora แบบเดิม

Lora Loader Stack (rgthree) สะดวก ในการ เรียก ใช้งาน Lora หลายตัว แต่ด้วย ข้อจำกัด ที่ เปลี่ยนได้ แค่ Weight ทำให้ เราต้อง จดจำ Trigger word เอง แล้ว นำไป เขียน ใส่ใน Prompt

บางครั้ง Lora ที่ นานๆ ใช้ที ก็ต้อง ใช้เวลาในการหา Trigger word ตัวนั้น

ครั้นจะไม่ใส่ Trigger word เลย ก็สามารถ ใช้งานได้ แต่ผลลัพท์ จะออกมา ไม่ดี เท่ากับ ใส่ trigger word ที่ กำหนด มา

Custom node ตัวใหม่ ที่ จัดการ Lora โดยเฉพาะ เรียกดูข้อมูล จัดการ Folder directory ได้ จากบนหน้าเว็บไซต์ และ ที่สำคัญ จุดเด่นสุดของ โหนดนี้ คือ แสดงภาพ ตัวอย่าง ของโมเดล และ เรียกใช้ Trigger word ได้ เลย (Extension ก่อนหน้านี้ ใช้งานกับ ComfyUI ไม่ได้ ใช้ได้ กับเพียง SDWebUI)

ลิ้ง ComfyUI Lora Manager custom node

https://github.com/willmiao/ComfyUI-Lora-Manager

การ ติดตั้ง

1. เปิด ComfyUI แล้ว เข้าไป ที่ Comfy Manager

2. พิมพ์ ใน ช่องค้นหา ว่า Lora Manager แล้ว กด Install ที่ node นั้น

3. เลือก Version ล่าสุด

4. หลัง จากติดตั้ง เสร็จ กดปุ่ม Restart ที่ ด้านล่าง ขวา เสร็จ แล้วเปิด Broswer ใหม่ เพื่อเข้า โปรแกรม ComfyUI

การต่อโหนดเพื่อใช้งาน

Node ที่จำเป็ นต้องเพิ่ม มี 2 ส่วน คือ

Lora Loader (LoraManager)

ใช้ใน การวางคำสั่ง เพื่อเรียก ใช้ Lora Model จะพิมพ์เอง หรือ ไป Copy Lora Syntax มาวาง ก็ได้

Text Concatenate

โหนด นี้ใช้ เพื่อ รวม Prompt กับ Trigger Word ที่ได้ จาก Lora Loader เพื่อใ ห้ ภาพที่ ทำ มีองค์ประกอบ รายละเอียด ถูกต้อง มากขึ้น

สามารถ ดาวน์โหลด Workflow ตัวอย่างได้ ที่

ตัวอย่าง workflow

การเรียกใช้งาน

จะมีปุ่ม Lora Manager เพิ่มขึ้นมาในหน้าเว็บ

หรือจะเข้าโดยการเพิ่ม /loras ไว้ท้าย Comfy URL ก็ได้

ถ้าดับเบิ้ลคลิ๊ก จะแสดง ข้อมูลของโมเดลนั้น

คลิกขวา ที่ รูปโมเดลที่ต้องการ จะมีเมนู ให้เลือก

เลือก Copy Lora Syntax เพื่อไปวางใน Lora Loader (LoraManager) node เพื่อเรียกใช้งาน

ตัวอย่าง workflow

สามารถdownload Flux – Lora Manager ได้ ที่ลิ้งนี้

ดาวน์โหลด Flux – Lora manager.json

เปรียบเทียบ ภาพ ที่ใช้งาน Lora แบบ No Trigger Word VS Trigger word

Lora ที่ใช้ เป็น Lora ที่ ช่วย เกี่ยว กับ เครื่อง แต่งกาย มีเอกลักษณ์ตรงส่วนผ้าคลุม หมวก และ ลวดลายสวยงาม

Lora Manager VS CivitAi Helper

จากการ ทดสอบ ใช้งาน Lora Manager กับ CivitAI Helper

เรียก ใช้งาน Lora ตัวเดียว กัน จะใช้ ปกภาพ ตัวอย่าง ร่วมกัน

แต่การ จัดเก็บ Trigger word จะจัดเก็บ แตกต่างกัน

Lora Manager – จัดเก็บ ข้อมูล ในไฟล์ metadata.json

CivitAi Helper – จัดเก็บ ข้อมูล อยู่ในไฟล์ .json

สำหรับ คนที่จัดการ โมเดลแบบ Centralized model หรือ ใช้โมเดล ร่วมกัน กับแอฟเอไอ หลายตัว ทำให้ ไฟล์ โมเดล เดียวกัน ใช้งานได้ ทั้ง 2 ส่วนเสริม โดยข้อมูล ไม่ผูกพันกัน

ทั้ง 2 ส่วนนี้ สามารถ download model จาก CivitAI URL ได้ทั้งคู่

แนะนำ Lora models ที่ ใช้งานบ่อย

แล้วเพื่อนๆละ มี Lora ตัวไหนที่ใช้งานบ่อยกันบ้าง ลอง โพสแนะนำกันได้นะ

หรือมีข้อเสนอแนะ node ไหน ใช้งานดีกว่า บอกกันบ้างนะ