Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Import Error with Tomo collected on the border line between two calendar month #1128

Open
yangr3 opened this issue May 20, 2024 · 0 comments
Open

Import Error with Tomo collected on the border line between two calendar month #1128

yangr3 opened this issue May 20, 2024 · 0 comments

Comments

@yangr3
Copy link

yangr3 commented May 20, 2024

This is a template for reporting bugs. Please fill in as much information as you can.

Describe your problem
Current Relion/5.0b won't import tile-serious collected right on the line between two calendar months: for example half in the last hour of April 30th and half in the first hour of May 1st. I solved the problem by shifting the date to April 29th-April 30th, while keeping the hours the same, Relion/5.0b then imported the data without error. Hopefully this is not a complicated bug to fix. Thanks.

Error message:

Please cite the full error message as the example below.

╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ in import_tilt_series_from_serial_em:2                                       │
│ ╭─────────────────────────── locals ────────────────────────────╮            │
│ │          amplitude_contrast = 0.1                             │            │
│ │        dose_per_movie_frame = 0.2                             │            │
│ │         dose_per_tilt_image = None                            │            │
│ │ images_are_motion_corrected = False                           │            │
│ │   invert_defocus_handedness = True                            │            │
│ │           mdoc_file_pattern = 'grid03/*.mdoc'                 │            │
│ │                    mtf_file = None                            │            │
│ │          nominal_pixel_size = 1.655                           │            │
│ │     nominal_tilt_axis_angle = 85.0                            │            │
│ │           optics_group_name = 'syn-grid3'                     │            │
│ │            output_directory = PosixPath('Import/job013')      │            │
│ │            pipeline_control = PosixPath('Import/job013')      │            │
│ │                      prefix = ''                              │            │
│ │        spherical_aberration = 2.7                             │            │
│ │    tilt_image_movie_pattern = 'movies/synapsome-movies/*.tif' │            │
│ │                     voltage = 300.0                           │            │
│ ╰───────────────────────────────────────────────────────────────╯            │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/tomography_python_programs/_utils/relion.py:75 in pipeline_job          │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function import_tilt_series_from_serial_em at      │ │
│ │                      0x15554b1c7130>                                     │ │
│ │      job_directory = PosixPath('Import/job013')                          │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_image_movie_pattern':                     │ │
│ │                      'movies/synapsome-movies/*.tif',                    │ │
│ │                      │   'mdoc_file_pattern': 'grid03/*.mdoc',           │ │
│ │                      │   'output_directory': PosixPath('Import/job013'), │ │
│ │                      │   'nominal_tilt_axis_angle': 85.0,                │ │
│ │                      │   'nominal_pixel_size': 1.655,                    │ │
│ │                      │   'voltage': 300.0,                               │ │
│ │                      │   'spherical_aberration': 2.7,                    │ │
│ │                      │   'amplitude_contrast': 0.1,                      │ │
│ │                      │   'optics_group_name': 'syn-grid3',               │ │
│ │                      │   'invert_defocus_handedness': True,              │ │
│ │                      │   ... +5                                          │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('Import/job013')                          │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/tomography_python_programs/import_tilt_series/serialem.py:133 in        │
│ import_tilt_series_from_serial_em                                            │
│                                                                              │
│   130 │   console.log('writing per tilt-series STAR files...')               │
│   131 │   for tomogram_id, mdoc_file, output_filename in \                   │
│   132 │   │   │   track(list(zip(tomogram_ids, mdoc_files, tilt_series_star_ │
│ ❱ 133 │   │   tilt_image_df = _generate_tilt_image_dataframe(                │
│   134 │   │   │   mdoc_file=mdoc_file,                                       │
│   135 │   │   │   tilt_image_files=tilt_image_files,                         │
│   136 │   │   │   dose_per_tilt_image=dose_per_tilt_image,                   │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │          amplitude_contrast = 0.1                                        │ │
│ │        dose_per_movie_frame = 0.2                                        │ │
│ │         dose_per_tilt_image = None                                       │ │
│ │                   global_df = │    rlnTomoName  ... rlnOpticsGroupName   │ │
│ │                               0   synap-tomo01  ...          syn-grid3   │ │
│ │                               1   synap-tomo02  ...          syn-grid3   │ │
│ │                               2   synap-tomo03  ...          syn-grid3   │ │
│ │                               3   synap-tomo04  ...          syn-grid3   │ │
│ │                               4   synap-tomo05  ...          syn-grid3   │ │
│ │                               5   synap-tomo06  ...          syn-grid3   │ │
│ │                               6   synap-tomo07  ...          syn-grid3   │ │
│ │                               7   synap-tomo08  ...          syn-grid3   │ │
│ │                               8   synap-tomo09  ...          syn-grid3   │ │
│ │                               9   synap-tomo10  ...          syn-grid3   │ │
│ │                               10  synap-tomo11  ...          syn-grid3   │ │
│ │                               11  synap-tomo12  ...          syn-grid3   │ │
│ │                               12  synap-tomo13  ...          syn-grid3   │ │
│ │                               13  synap-tomo14  ...          syn-grid3   │ │
│ │                               14  synap-tomo15  ...          syn-grid3   │ │
│ │                               15  synap-tomo16  ...          syn-grid3   │ │
│ │                               16  synap-tomo17  ...          syn-grid3   │ │
│ │                               17  synap-tomo18  ...          syn-grid3   │ │
│ │                               18  synap-tomo19  ...          syn-grid3   │ │
│ │                               19  synap-tomo20  ...          syn-grid3   │ │
│ │                               20  synap-tomo21  ...          syn-grid3   │ │
│ │                               21  synap-tomo22  ...          syn-grid3   │ │
│ │                               22  synap-tomo23  ...          syn-grid3   │ │
│ │                               23  synap-tomo24  ...          syn-grid3   │ │
│ │                               24  synap-tomo25  ...          syn-grid3   │ │
│ │                               25  synap-tomo26  ...          syn-grid3   │ │
│ │                               26  synap-tomo26  ...          syn-grid3   │ │
│ │                                                                          │ │
│ │                               [27 rows x 8 columns]                      │ │
│ │            global_star_file = PosixPath('Import/job013/tilt_series.star… │ │
│ │ images_are_motion_corrected = False                                      │ │
│ │   invert_defocus_handedness = True                                       │ │
│ │                   mdoc_file = PosixPath('grid03/synap-tomo04.mrc.mdoc')  │ │
│ │           mdoc_file_pattern = 'grid03/*.mdoc'                            │ │
│ │                  mdoc_files = [                                          │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo01.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo02.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo03.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo04.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo05.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo06.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo07.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo08.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo09.mrc.mdoc'), │ │
│ │                               │                                          │ │
│ │                               PosixPath('grid03/synap-tomo10.mrc.mdoc'), │ │
│ │                               │   ... +17                                │ │
│ │                               ]                                          │ │
│ │                    mtf_file = None                                       │ │
│ │          nominal_pixel_size = 1.655                                      │ │
│ │     nominal_tilt_axis_angle = 85.0                                       │ │
│ │           optics_group_name = 'syn-grid3'                                │ │
│ │            output_directory = PosixPath('Import/job013')                 │ │
│ │             output_filename = PosixPath('Import/job013/tilt_series/syna… │ │
│ │                      prefix = ''                                         │ │
│ │        spherical_aberration = 2.7                                        │ │
│ │               tilt_image_df = │   │   │   │   │   │   │                  │ │
│ │                               rlnMicrographMovieName  ...                │ │
│ │                               rlnTomoNominalDefocus                      │ │
│ │                               18                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               19                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               20                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               21                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               17                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               16                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               15                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               22                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               23                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               24                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               14                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               13                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               12                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               25                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               26                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               27                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               11                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               10                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               9                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               28                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               29                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               30                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               8                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               7                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               6                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               31                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               32                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               33                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               5                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               4                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               3                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               34                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               35                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               36                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               2                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               1                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               0                                          │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                               37                                         │ │
│ │                               movies/synapsome-movies/synap-tomo03_47_0… │ │
│ │                               ...                   -4.0                 │ │
│ │                                                                          │ │
│ │                               [38 rows x 6 columns]                      │ │
│ │            tilt_image_files = [                                          │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │   ... +1468                              │ │
│ │                               ]                                          │ │
│ │    tilt_image_movie_pattern = 'movies/synapsome-movies/*.tif'            │ │
│ │       tilt_series_directory = PosixPath('Import/job013/tilt_series')     │ │
│ │      tilt_series_star_files = [                                          │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │                                          │ │
│ │                               PosixPath('Import/job013/tilt_series/syna… │ │
│ │                               │   ... +17                                │ │
│ │                               ]                                          │ │
│ │                 tomogram_id = 'synap-tomo04'                             │ │
│ │                tomogram_ids = [                                          │ │
│ │                               │   'synap-tomo01',                        │ │
│ │                               │   'synap-tomo02',                        │ │
│ │                               │   'synap-tomo03',                        │ │
│ │                               │   'synap-tomo04',                        │ │
│ │                               │   'synap-tomo05',                        │ │
│ │                               │   'synap-tomo06',                        │ │
│ │                               │   'synap-tomo07',                        │ │
│ │                               │   'synap-tomo08',                        │ │
│ │                               │   'synap-tomo09',                        │ │
│ │                               │   'synap-tomo10',                        │ │
│ │                               │   ... +17                                │ │
│ │                               ]                                          │ │
│ │                     voltage = 300.0                                      │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/tomography_python_programs/import_tilt_series/serialem.py:166 in        │
│ _generate_tilt_image_dataframe                                               │
│                                                                              │
│   163 ) -> pd.DataFrame:                                                     │
│   164 │   """Generate a dataframe containing data about images in a tilt-ser │
│   165 │   df = mdocfile.read(mdoc_file)                                      │
│ ❱ 166 │   df['DateTime'] = pd.to_datetime(df['DateTime'])                    │
│   167 │   df = df.sort_values(by="DateTime", ascending=True)                 │
│   168 │   df['pre_exposure_dose'] = calculate_pre_exposure_dose(             │
│   169 │   │   df, dose_per_tilt_image=dose_per_tilt_image, dose_per_movie_fr │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │                          df = │   ZValue  ...                            │ │
│ │                               titles                                     │ │
│ │                               0        0  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               1        1  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               2        2  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               3        3  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               4        4  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               5        5  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               6        6  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               7        7  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               8        8  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               9        9  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               10      10  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               11      11  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               12      12  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               13      13  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               14      14  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               15      15  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               16      16  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               17      17  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               18      18  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               19      19  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               20      20  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               21      21  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               22      22  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               23      23  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               24      24  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               25      25  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               26      26  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               27      27  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               28      28  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               29      29  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               30      30  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               31      31  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               32      32  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               33      33  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               34      34  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               35      35  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               36      36  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               37      37  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               38      38  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               39      39  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               40      40  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               41      41  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               42      42  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               43      43  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               44      44  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               45      45  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               46      46  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               47      47  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               48      48  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               49      49  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               50      50  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               51      51  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               52      52  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               53      53  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               54      54  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               55      55  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               56      56  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                               57      57  ...  [[T = SerialEM: Krios G4  │ │
│ │                               9930305              ...                   │ │
│ │                                                                          │ │
│ │                               [58 rows x 33 columns]                     │ │
│ │        dose_per_movie_frame = 0.2                                        │ │
│ │         dose_per_tilt_image = None                                       │ │
│ │ images_are_motion_corrected = False                                      │ │
│ │                   mdoc_file = PosixPath('grid03/synap-tomo04.mrc.mdoc')  │ │
│ │     nominal_tilt_axis_angle = 85.0                                       │ │
│ │            tilt_image_files = [                                          │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │                                          │ │
│ │                               PosixPath('movies/synapsome-movies/synap-… │ │
│ │                               │   ... +1468                              │ │
│ │                               ]                                          │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/pandas/core/tools/datetimes.py:1067 in to_datetime                      │
│                                                                              │
│   1064 │   │   if not cache_array.empty:                                     │
│   1065 │   │   │   result = arg.map(cache_array)                             │
│   1066 │   │   else:                                                         │
│ ❱ 1067 │   │   │   values = convert_listlike(arg._values, format)            │
│   1068 │   │   │   result = arg._constructor(values, index=arg.index, name=a │
│   1069 │   elif isinstance(arg, (ABCDataFrame, abc.MutableMapping)):         │
│   1070 │   │   result = _assemble_from_unit_mappings(arg, errors, utc)       │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │                   arg = 0     01-May-2024  00:07:05                      │ │
│ │                         1     01-May-2024  00:06:47                      │ │
│ │                         2     01-May-2024  00:06:28                      │ │
│ │                         3     01-May-2024  00:03:59                      │ │
│ │                         4     01-May-2024  00:03:40                      │ │
│ │                         5     01-May-2024  00:03:21                      │ │
│ │                         6     01-May-2024  00:01:55                      │ │
│ │                         7     01-May-2024  00:01:29                      │ │
│ │                         8     01-May-2024  00:01:10                      │ │
│ │                         9     30-Apr-2024  23:59:32                      │ │
│ │                         10    30-Apr-2024  23:59:14                      │ │
│ │                         11    30-Apr-2024  23:58:48                      │ │
│ │                         12    30-Apr-2024  23:57:30                      │ │
│ │                         13    30-Apr-2024  23:57:11                      │ │
│ │                         14    30-Apr-2024  23:56:52                      │ │
│ │                         15    30-Apr-2024  23:55:20                      │ │
│ │                         16    30-Apr-2024  23:55:02                      │ │
│ │                         17    30-Apr-2024  23:54:44                      │ │
│ │                         18    30-Apr-2024  23:53:33                      │ │
│ │                         19    30-Apr-2024  23:53:08                      │ │
│ │                         20    30-Apr-2024  23:52:49                      │ │
│ │                         21    30-Apr-2024  23:51:31                      │ │
│ │                         22    30-Apr-2024  23:51:14                      │ │
│ │                         23    30-Apr-2024  23:50:46                      │ │
│ │                         24    30-Apr-2024  23:49:27                      │ │
│ │                         25    30-Apr-2024  23:49:00                      │ │
│ │                         26    30-Apr-2024  23:48:35                      │ │
│ │                         27    30-Apr-2024  23:47:02                      │ │
│ │                         28    30-Apr-2024  23:47:28                      │ │
│ │                         29    30-Apr-2024  23:47:52                      │ │
│ │                         30    30-Apr-2024  23:48:08                      │ │
│ │                         31    30-Apr-2024  23:49:45                      │ │
│ │                         32    30-Apr-2024  23:50:11                      │ │
│ │                         33    30-Apr-2024  23:50:28                      │ │
│ │                         34    30-Apr-2024  23:51:50                      │ │
│ │                         35    30-Apr-2024  23:52:06                      │ │
│ │                         36    30-Apr-2024  23:52:30                      │ │
│ │                         37    30-Apr-2024  23:53:51                      │ │
│ │                         38    30-Apr-2024  23:54:07                      │ │
│ │                         39    30-Apr-2024  23:54:24                      │ │
│ │                         40    30-Apr-2024  23:55:47                      │ │
│ │                         41    30-Apr-2024  23:56:06                      │ │
│ │                         42    30-Apr-2024  23:56:24                      │ │
│ │                         43    30-Apr-2024  23:57:57                      │ │
│ │                         44    30-Apr-2024  23:58:13                      │ │
│ │                         45    30-Apr-2024  23:58:29                      │ │
│ │                         46    01-May-2024  00:00:19                      │ │
│ │                         47    01-May-2024  00:00:35                      │ │
│ │                         48    01-May-2024  00:00:50                      │ │
│ │                         49    01-May-2024  00:02:14                      │ │
│ │                         50    01-May-2024  00:02:39                      │ │
│ │                         51    01-May-2024  00:02:56                      │ │
│ │                         52    01-May-2024  00:04:19                      │ │
│ │                         53    01-May-2024  00:04:35                      │ │
│ │                         54    01-May-2024  00:04:59                      │ │
│ │                         55    01-May-2024  00:05:16                      │ │
│ │                         56    01-May-2024  00:05:34                      │ │
│ │                         57    01-May-2024  00:05:50                      │ │
│ │                         Name: DateTime, dtype: object                    │ │
│ │                 cache = True                                             │ │
│ │           cache_array = Series([], dtype: object)                        │ │
│ │      convert_listlike = functools.partial(<function                      │ │
│ │                         _convert_listlike_datetimes at 0x15554c1ef640>,  │ │
│ │                         utc=False, unit=None, dayfirst=False,            │ │
│ │                         yearfirst=False, errors='raise',                 │ │
│ │                         exact=<no_default>)                              │ │
│ │              dayfirst = False                                            │ │
│ │                errors = 'raise'                                          │ │
│ │                 exact = <no_default>                                     │ │
│ │                format = None                                             │ │
│ │ infer_datetime_format = <no_default>                                     │ │
│ │                origin = 'unix'                                           │ │
│ │                  unit = None                                             │ │
│ │                   utc = False                                            │ │
│ │             yearfirst = False                                            │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/pandas/core/tools/datetimes.py:433 in _convert_listlike_datetimes       │
│                                                                              │
│    430 │                                                                     │
│    431 │   # `format` could be inferred, or user didn't ask for mixed-format │
│    432 │   if format is not None and format != "mixed":                      │
│ ❱  433 │   │   return _array_strptime_with_fallback(arg, name, utc, format,  │
│    434 │                                                                     │
│    435 │   result, tz_parsed = objects_to_datetime64(                        │
│    436 │   │   arg,                                                          │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │         _ = False                                                        │ │
│ │       arg = array(['01-May-2024  00:07:05', '01-May-2024  00:06:47',     │ │
│ │             │      '01-May-2024  00:06:28', '01-May-2024  00:03:59',     │ │
│ │             │      '01-May-2024  00:03:40', '01-May-2024  00:03:21',     │ │
│ │             │      '01-May-2024  00:01:55', '01-May-2024  00:01:29',     │ │
│ │             │      '01-May-2024  00:01:10', '30-Apr-2024  23:59:32',     │ │
│ │             │      '30-Apr-2024  23:59:14', '30-Apr-2024  23:58:48',     │ │
│ │             │      '30-Apr-2024  23:57:30', '30-Apr-2024  23:57:11',     │ │
│ │             │      '30-Apr-2024  23:56:52', '30-Apr-2024  23:55:20',     │ │
│ │             │      '30-Apr-2024  23:55:02', '30-Apr-2024  23:54:44',     │ │
│ │             │      '30-Apr-2024  23:53:33', '30-Apr-2024  23:53:08',     │ │
│ │             │      '30-Apr-2024  23:52:49', '30-Apr-2024  23:51:31',     │ │
│ │             │      '30-Apr-2024  23:51:14', '30-Apr-2024  23:50:46',     │ │
│ │             │      '30-Apr-2024  23:49:27', '30-Apr-2024  23:49:00',     │ │
│ │             │      '30-Apr-2024  23:48:35', '30-Apr-2024  23:47:02',     │ │
│ │             │      '30-Apr-2024  23:47:28', '30-Apr-2024  23:47:52',     │ │
│ │             │      '30-Apr-2024  23:48:08', '30-Apr-2024  23:49:45',     │ │
│ │             │      '30-Apr-2024  23:50:11', '30-Apr-2024  23:50:28',     │ │
│ │             │      '30-Apr-2024  23:51:50', '30-Apr-2024  23:52:06',     │ │
│ │             │      '30-Apr-2024  23:52:30', '30-Apr-2024  23:53:51',     │ │
│ │             │      '30-Apr-2024  23:54:07', '30-Apr-2024  23:54:24',     │ │
│ │             │      '30-Apr-2024  23:55:47', '30-Apr-2024  23:56:06',     │ │
│ │             │      '30-Apr-2024  23:56:24', '30-Apr-2024  23:57:57',     │ │
│ │             │      '30-Apr-2024  23:58:13', '30-Apr-2024  23:58:29',     │ │
│ │             │      '01-May-2024  00:00:19', '01-May-2024  00:00:35',     │ │
│ │             │      '01-May-2024  00:00:50', '01-May-2024  00:02:14',     │ │
│ │             │      '01-May-2024  00:02:39', '01-May-2024  00:02:56',     │ │
│ │             │      '01-May-2024  00:04:19', '01-May-2024  00:04:35',     │ │
│ │             │      '01-May-2024  00:04:59', '01-May-2024  00:05:16',     │ │
│ │             │      '01-May-2024  00:05:34', '01-May-2024  00:05:50'],    │ │
│ │             dtype=object)                                                │ │
│ │ arg_dtype = dtype('O')                                                   │ │
│ │  dayfirst = False                                                        │ │
│ │    errors = 'raise'                                                      │ │
│ │     exact = <no_default>                                                 │ │
│ │    format = '%d-%B-%Y  %H:%M:%S'                                         │ │
│ │      name = None                                                         │ │
│ │        tz = None                                                         │ │
│ │      unit = None                                                         │ │
│ │       utc = False                                                        │ │
│ │ yearfirst = False                                                        │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /usr/local/apps/RELION/240506/mamba/envs/relion-5.0/lib/python3.10/site-pack │
│ ages/pandas/core/tools/datetimes.py:467 in _array_strptime_with_fallback     │
│                                                                              │
│    464 │   """                                                               │
│    465 │   Call array_strptime, with fallback behavior depending on 'errors' │
│    466 │   """                                                               │
│ ❱  467 │   result, tz_out = array_strptime(arg, fmt, exact=exact, errors=err │
│    468 │   if tz_out is not None:                                            │
│    469 │   │   unit = np.datetime_data(result.dtype)[0]                      │
│    470 │   │   dtype = DatetimeTZDtype(tz=tz_out, unit=unit)                 │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │    arg = array(['01-May-2024  00:07:05', '01-May-2024  00:06:47',        │ │
│ │          │      '01-May-2024  00:06:28', '01-May-2024  00:03:59',        │ │
│ │          │      '01-May-2024  00:03:40', '01-May-2024  00:03:21',        │ │
│ │          │      '01-May-2024  00:01:55', '01-May-2024  00:01:29',        │ │
│ │          │      '01-May-2024  00:01:10', '30-Apr-2024  23:59:32',        │ │
│ │          │      '30-Apr-2024  23:59:14', '30-Apr-2024  23:58:48',        │ │
│ │          │      '30-Apr-2024  23:57:30', '30-Apr-2024  23:57:11',        │ │
│ │          │      '30-Apr-2024  23:56:52', '30-Apr-2024  23:55:20',        │ │
│ │          │      '30-Apr-2024  23:55:02', '30-Apr-2024  23:54:44',        │ │
│ │          │      '30-Apr-2024  23:53:33', '30-Apr-2024  23:53:08',        │ │
│ │          │      '30-Apr-2024  23:52:49', '30-Apr-2024  23:51:31',        │ │
│ │          │      '30-Apr-2024  23:51:14', '30-Apr-2024  23:50:46',        │ │
│ │          │      '30-Apr-2024  23:49:27', '30-Apr-2024  23:49:00',        │ │
│ │          │      '30-Apr-2024  23:48:35', '30-Apr-2024  23:47:02',        │ │
│ │          │      '30-Apr-2024  23:47:28', '30-Apr-2024  23:47:52',        │ │
│ │          │      '30-Apr-2024  23:48:08', '30-Apr-2024  23:49:45',        │ │
│ │          │      '30-Apr-2024  23:50:11', '30-Apr-2024  23:50:28',        │ │
│ │          │      '30-Apr-2024  23:51:50', '30-Apr-2024  23:52:06',        │ │
│ │          │      '30-Apr-2024  23:52:30', '30-Apr-2024  23:53:51',        │ │
│ │          │      '30-Apr-2024  23:54:07', '30-Apr-2024  23:54:24',        │ │
│ │          │      '30-Apr-2024  23:55:47', '30-Apr-2024  23:56:06',        │ │
│ │          │      '30-Apr-2024  23:56:24', '30-Apr-2024  23:57:57',        │ │
│ │          │      '30-Apr-2024  23:58:13', '30-Apr-2024  23:58:29',        │ │
│ │          │      '01-May-2024  00:00:19', '01-May-2024  00:00:35',        │ │
│ │          │      '01-May-2024  00:00:50', '01-May-2024  00:02:14',        │ │
│ │          │      '01-May-2024  00:02:39', '01-May-2024  00:02:56',        │ │
│ │          │      '01-May-2024  00:04:19', '01-May-2024  00:04:35',        │ │
│ │          │      '01-May-2024  00:04:59', '01-May-2024  00:05:16',        │ │
│ │          │      '01-May-2024  00:05:34', '01-May-2024  00:05:50'],       │ │
│ │          dtype=object)                                                   │ │
│ │ errors = 'raise'                                                         │ │
│ │  exact = <no_default>                                                    │ │
│ │    fmt = '%d-%B-%Y  %H:%M:%S'                                            │ │
│ │   name = None                                                            │ │
│ │    utc = False                                                           │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ in pandas._libs.tslibs.strptime.array_strptime:501                           │
│                                                                              │
│ in pandas._libs.tslibs.strptime.array_strptime:451                           │
│                                                                              │
│ in pandas._libs.tslibs.strptime._parse_with_format:583                       │
╰──────────────────────────────────────────────────────────────────────────────╯
ValueError: time data "30-Apr-2024  23:59:32" doesn't match format "%d-%B-%Y  
%H:%M:%S", at position 9. You might want to try:
    - passing `format` if your strings have a consistent format;
    - passing `format='ISO8601'` if your strings are all ISO8601 but not 
necessarily in exactly the same format;
    - passing `format='mixed'`, and the format will be inferred for each element
individually. You might want to use `dayfirst` alongside this.
srun: error: cn4340: task 0: Exited with exit code 2
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@yangr3