Align Your Step: Bộ scheduler mới siêu nhanh cho Stable Diffusion
Tóm tắt: Align Your Step là phương pháp cải tiến bộ scheduler của các mô hình diffusion giảm thời gian xuống từ 2 đến 5 lần mà chất lượng không đổi. Bài viết này sẽ cùng tìm hiểu cách hoạt động của Align Your Step và làm sao để sử dụng nó.
Giới thiệu
Scheduler của các mô hình diffusion từ lâu đã không được chú ý cải tiến về mặt tốc độ. Kể từ khi bài viết đầu tiên Stable Diffusion được công bố cách đây 2 năm, các bộ scheduler mới chỉ tập chung vào phần cải thiện chất lượng của ảnh tạo ra. Mới đây ngày 22/04/2024, Nvidia đã công bố nghiên cứu mới của họ Align Your Step (AYS) cho phép quá trình schedule giảm xuống chỉ còn 10 step (cả trên SD 1.5 và SDXL ). Điều này mang lại đột phá hơn LCM, Lighting và Turbo trước đây khi nó không can thiệp vào kiến trúc mô hình dẫn tới chất lượng bị ảnh hưởng theo.
Hãy cùng xem thử kết quả tạo ra từ một số checkpoint SD trên CivitAI sử dụng bộ scheduler AYS mới này:
Kết quả cho thấy các mô hình diffusion vẫn hoạt động ổn định và cho ra kết quả rất tốt với các checkpoint trước đây
So sánh với các bộ scheduler trước đây
Mình đã chạy so sánh cáccác scheduler thường được lựa chọn trước đây với AYS, kết quả thử nghiệm trên RTX 4090 như sau:
Có thể thấy là chất lượng của AYS so với các bộ lập lịch trước là hầu như không đổi (thậm chí còn hơn như trong bài báo có chỉ ra). Điều đó làm nổi bật thế mạnh của AYS khi thời gian giảm xuống 2 lần (thậm chí là 3-4 lần nếu mô hình đó sử dụng số step lớn và độ phân giải cao).
Cách hoạt động
(đang cập nhập)
Làm sao để sử dụng ?
Hiện tại mọi người có thể sử dụng AYS này thông qua diffuser ( colab sample ) hoặc sử dụng trực tiếp trên nền tảng ComfyUI ( workflow example )
Kết luận
Bộ scheduler AYS hoàn toàn nổi bật so với các bộ scheduler trước đây về mặt tốc độ. Chúng ta nên sử dụng nó trong workflow của mình và dự kiến trong thời gian tới, đây sẽ là bộ scheduler được yêu thích lựa chọn nhất.
