Stream #0: not enough frames to estimate rate; consider increasing probesize

[FurkanGozukara]

when it is 512 pixel resolution it works but when 720 or 768 i get below error

What does this error means?

It is stuck here for like 8 hours. I had enabled Loose Cross-frame attention and could that be cause?

logging improved.
Running on local URL:  http://localhost:7860

To create a public link, set `share=True` in `launch()`.
[ERROR:0@11.100] global cap.cpp:166 cv::VideoCapture::open VIDEOIO(CV_IMAGES): raised OpenCV exception:

OpenCV(4.8.1) D:\a\opencv-python\opencv-python\opencv\modules\videoio\src\cap_images.cpp:293: error: (-215:Assertion failed) !_filename.empty() in function 'cv::CvCapture_Images::open'


ControlLDM: Running in eps-prediction mode
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
DiffusionWrapper has 859.52 M params.
making attention of type 'vanilla-xformers' with 512 in_channels
building MemoryEfficientAttnBlock with 512 in_channels...
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla-xformers' with 512 in_channels
building MemoryEfficientAttnBlock with 512 in_channels...
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 320, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 640, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is None and using 8 heads.
Setting up MemoryEfficientCrossAttention. Query dim is 1280, context_dim is 768 and using 8 heads.
Loaded model config from [./deps/ControlNet/models/cldm_v15.yaml]
Loaded state_dict from [./models/control_sd15_canny.pth]
G:\test2\Rerender_A_Video\venv\lib\site-packages\safetensors\torch.py:98: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly.  To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()
  with safe_open(filename, framework="pt", device=device) as f:
A matching Triton is not available, some optimizations will not be enabled.
Error caught was: No module named 'triton'
Global seed set to 1
Data shape for DDIM sampling is (1, 4, 64, 112), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:08<00:00,  2.44it/s]
Global seed set to 1
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.35s/it]
Global seed set to 2
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.39s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.36s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.35s/it]
1
G:\test2\Rerender_A_Video\venv\lib\site-packages\torch\functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ..\aten\src\ATen\native\TensorShape.cpp:3484.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.37s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.39s/it]
11
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:28<00:00,  1.41s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.39s/it]
21
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.37s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:27<00:00,  1.37s/it]
31
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
41
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
51
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
61
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
71
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
81
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
91
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
101
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
111
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
121
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
131
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
141
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
151
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
161
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
171
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
181
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
191
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
201
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
211
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
221
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
231
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
241
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
251
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
261
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
271
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
281
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
291
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.30s/it]
301
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
311
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
321
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
331
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
341
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
351
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
361
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
371
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
381
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
391
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
401
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
411
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
421
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
431
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
441
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
451
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
461
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
471
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
481
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
491
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
501
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
511
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
521
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
531
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
541
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
551
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
561
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
571
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
581
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
591
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
Global seed set to 3
Data shape for DDIM sampling is (1, 4, 96, 168), eta 0.0
Running DDIM Sampling with 20 timesteps
DDIM Sampler: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:25<00:00,  1.29s/it]
[rawvideo @ 0000022202efd140] Stream #0: not enough frames to estimate rate; consider increasing probesize
python video_blend.py result\Untitled --beg 1 --end 591 --itv 10 --key keys  --output result\Untitled\blend.mp4 --fps 23.976023976023978 --n_proc 4 -ps
G:\test2\Rerender_A_Video\venv\lib\site-packages\torch\functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ..\aten\src\ATen\native\TensorShape.cpp:3484.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
G:\test2\Rerender_A_Video\venv\lib\site-packages\torch\functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ..\aten\src\ATen\native\TensorShape.cpp:3484.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
G:\test2\Rerender_A_Video\venv\lib\site-packages\torch\functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ..\aten\src\ATen\native\TensorShape.cpp:3484.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
G:\test2\Rerender_A_Video\venv\lib\site-packages\torch\functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ..\aten\src\ATen\native\TensorShape.cpp:3484.)
  return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]

[FurkanGozukara]

i made fps 25

resolution 720

now it is using 36 GB VRAM in this stage

this doesnt look right

[williamyang1991]

I think your error is not about the Loose Cross-frame attention since you stuck at the video_blend part (ebsynth part), which is not related to Loose Cross-frame attention.

And from https://stackoverflow.com/questions/64490002/ffmpeg-consider-increasing-probesize-error-but-it-is-never-satisfied, it seems that Stream #0: not enough frames to estimate rate is a warning rather than an error.
And your code reports the error
OpenCV(4.8.1) D:\a\opencv-python\opencv-python\opencv\modules\videoio\src\cap_images.cpp:293: error: (-215:Assertion failed) !_filename.empty() in function 'cv::CvCapture_Images::open'
Is this the cause?

Since you have generate the key frames, you can debug with the video_blend.py part?
python video_blend.py result\Untitled --beg 1 --end 591 --itv 10 --key keys --output result\Untitled\blend.mp4 --fps 23.976023976023978 --n_proc 4 -ps
For example, the --fps 23.976023976023978 is weird, you can debug with the code
python video_blend.py result\Untitled --beg 1 --end 11 --itv 10 --key keys --output result\Untitled\blend.mp4 --fps 25 --n_proc 4 -ps to see if the code can run the first 10 frames?