Problem in training

[ZouaghiHoussem]

I am using my data to train the discriminator, I kept the code as it is and my data images are 960x540, I used your code to simulate the Gbuffers and your code to generate the crops and matching. When training, the data is loaded correctly and starts showing values, but soon after (about 1 hour), all values were replaced by nan, can you help me?

2022-05-08 16:27:05,927 17940 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:06,367 17941 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:07,162 17942 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:07,604 17943 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:08,380 17944 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:08,827 17945 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:09,623 17946 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:10,044 17947 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:10,852 17948 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:11,263 17949 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:12,092 17950 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:12,505 17951 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:13,318 17952 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:13,728 17953 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:14,549 17954 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:14,972 17955 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:15,841 17956 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:16,254 17957 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:17,068 17958 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:17,484 17959 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:18,317
2022-05-08 16:27:18,318 17960 rdf0 ds0  rdf1 ds1  rdf2 ds2  rdf3 ds3  rdf4 ds4  rdf5 ds5  rdf6 ds6  rdf7 ds7  rdf8 ds8  rdf9 ds9  rdr0 rdr1 rdr2 rdr3 rdr4 rdr5 rdr6 rdr7 rdr8 rdr9 reg  gs0  gs1  gs2  gs3  gs4  gs5  gs6  gs7  gs8  gs9  vgg
2022-05-08 16:27:18,319 17960 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:18,755 17961 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:19,542 17962 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:19,970 17963 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:20,772 17964 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:21,219 17965 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:22,026 17966 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:22,444 17967 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:23,269 17968 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:23,728 17969 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:24,528 17970 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:24,976 17971 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
^[[B^[[B^[[B^[[B^[[B^[[B2022-05-08 16:27:25,746 17972 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:26,180 17973 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:26,992 17974 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:27,433 17975 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:28,269 17976 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:28,729 17977 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan
2022-05-08 16:27:29,522 17978 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 nan 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 nan ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
2022-05-08 16:27:29,948 17979 ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- nan nan nan nan nan nan nan nan nan nan nan

[ZouaghiHoussem]

Testing the model give me black images, any help please ?

[srrichter]

First of all, the fake G-buffers are only intended to show how G-buffers need to be fed into the model. The parameters in the config are not at all set up for fake G-buffers and any reasonable results with those. The configs we provide are for using a full set of G-buffers extracted from the game. It's likely that you did nothing wrong here and this is just an artifact of using fake G-buffers you're seeing here. To better understand the issue, I recommend parsing the log file and plotting the entries. 'ds' entries are disciminator losses, 'gs' the generaot losses. 'vgg' is the perceptual loss and a good proxy for how much images are modified. Looking at a couple of samples corresponding to specific values of the loss can help calibrate the current status. 'rdf' and 'rdr' are the percentage of pixels from fake and real images that are classified as real. You want those to be roughly in a range of 0.6 to 0.9.

[EyalMichaeli]

Hey, I ran into the same problem.
@ZouaghiHoussem , I'll be happy to know, how did you solve it?
I assume these configs are supposed to be changed:

generator:
  type: hr
  config:
    encoder_type: ENCODER
    stem_norm: group
    num_stages: 4
    other_norm: group
    gbuffer_norm: RAD
    gbuffer_encoder_norm: residual
    num_gbuffer_layers: 3
  optimizer:
    type: adam
    learning_rate: 0.0001
    adam_beta: 0.9
    adam_beta2: 0.999
    clip_gradient_norm: 1000
  scheduler:
    type: 'step'
    step: 100000
    gamma: 0.5

Thanks!
Eyal

[EyalMichaeli]

UPDATE: eventually was able to solve it: #33
BTW, @srrichter - it happens when working with gbuffers as well (other gbuffers, not GTA, I used Carla)

Hope it helps!

[yuanhaorannnnnn]

UPDATE: eventually was able to solve it: #33 BTW, @srrichter - it happens when working with gbuffers as well (other gbuffers, not GTA, I used Carla)

Hope it helps!

Hello, I'm deploying this amazing project and just notice your reply here, so, you used Carla to get g-buffers directly? If so, could you give me some hints to work woth that? Cause I thought it supposed to do with UE to capture some g-buffers, thanks in advance.

[luda1013]

Hallo Pros,

and also maybe to @EyalMichaeli , i mentioned u because i saw u a a few times in issues and that's why maybe u could help me also

So i tried to train it, i follow the steps. and for datasets i just use PlayingFromData. because i am stuck at MSeg, by the MSeg, it took 10 minutes for just 1 image and i got only gray image.
because of that, i now have only robust label map (gray images) for folder 01_images and 02_images of Playing for Data

that's why, my dataset:
for real image -> 01_images
for rendered image -> 02_images

i follow the step, and when i wanted to train. i got the following error:

do u know why i got the num_samples = 0?? thank you very much for the help