Преглед на файлове

Merge pull request #11066 from aljungberg/patch-1

Fix upcast attention dtype error.
AUTOMATIC1111 преди 2 години
родител
ревизия
806ea639e6
променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда
  1. 1 1
      modules/sd_hijack_optimizations.py

+ 1 - 1
modules/sd_hijack_optimizations.py

@@ -602,7 +602,7 @@ def sdp_attnblock_forward(self, x):
     q, k, v = (rearrange(t, 'b c h w -> b (h w) c') for t in (q, k, v))
     dtype = q.dtype
     if shared.opts.upcast_attn:
-        q, k = q.float(), k.float()
+        q, k, v = q.float(), k.float(), v.float()
     q = q.contiguous()
     k = k.contiguous()
     v = v.contiguous()