relion icon indicating copy to clipboard operation
relion copied to clipboard

RELION 5.0-beta-3 (commit ad0c1f) fails to write output from tomogram particle picking

Open rbs-sci opened this issue 9 months ago • 3 comments

Describe your problem

When using particle mode for picking in tomograms, RELION fails to write necessary output for further processing, Python traceback complains "ValueError: cannot insert rlnTomoName, already exists", even if dataset comprises a single tomogram.

Sphere picking in the tutorial works. Have not tested filament picker.

Environment:

  • OS: Ubuntu 20.04.4
  • MPI runtime: irrelevant
  • RELION version: RELION-5.0-beta-3-commit-ad0c1f
  • Memory: 512GB
  • GPU: Quadro A4000

Dataset:

  • Box size: not extracted particles yet.
  • Pixel size: 1.7005 (original), 10 (downsampled tomograms)
  • Number of particles: n/a
  • Description: Ribosome (EMPIAR 10499)

Job options:

  • Type of job: TomoPick
  • Number of MPI processes: n/a
  • Number of threads: n/a
  • Full command (see note.txt in the job directory):
`which relion_python_tomo_pick`  particles --tilt-series-star-file Tomograms/job016/tomograms.star --output-directory Picks/job019/  --pipeline_control Picks/job019/ && `which relion_python_tomo_get_particle_poses` particles --tilt-series-star-file Tomograms/job016/tomograms.star --annotations-directory Picks/job019/annotations --output-directory Picks/job019/  --pipeline_control Picks/job019/

Error message:

Please cite the full error message as the example below.

╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ in combine_particle_annotations:2                                            │
│ ╭─────────────────────────────── locals ───────────────────────────────╮     │
│ │ annotations_directory = PosixPath('Picks/job019/annotations')        │     │
│ │      output_directory = PosixPath('Picks/job019')                    │     │
│ │      pipeline_control = PosixPath('Picks/job019')                    │     │
│ │ tilt_series_star_file = PosixPath('Tomograms/job016/tomograms.star') │     │
│ ╰──────────────────────────────────────────────────────────────────────╯     │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/tomography_python │
│ _programs/_utils/relion.py:75 in pipeline_job                                │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function combine_particle_annotations at           │ │
│ │                      0x74e7a41f9000>                                     │ │
│ │      job_directory = PosixPath('Picks/job019')                           │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_series_star_file':                        │ │
│ │                      PosixPath('Tomograms/job016/tomograms.star'),       │ │
│ │                      │   'annotations_directory':                        │ │
│ │                      PosixPath('Picks/job019/annotations'),              │ │
│ │                      │   'output_directory': PosixPath('Picks/job019')   │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('Picks/job019')                           │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/tomography_python │
│ _programs/get_particle_poses/particles.py:59 in combine_particle_annotations │
│                                                                              │
│    56 │   │   │   'rlnCoordinateZ': 'rlnCenteredCoordinateZAngst'            │
│    57 │   │   }, inplace=True)                                               │
│    58 │   │                                                                  │
│ ❱  59 │   │   df.insert(loc=0, column='rlnTomoName', value=tilt_series_id)   │
│    60 │   │                                                                  │
│    61 │   │   dfs.append(df)                                                 │
│    62 │   df = pd.concat(dfs)                                                │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │      annotation_files = <generator object Path.glob at 0x74e65da62ff0>   │ │
│ │ annotations_directory = PosixPath('Picks/job019/annotations')            │ │
│ │                    df =    rlnTomoName  ...  rlnCenteredCoordinateZAngst │ │
│ │                         0        TS_03  ...                     0.700300 │ │
│ │                         1        TS_03  ...                     0.700300 │ │
│ │                         2        TS_03  ...                     0.700300 │ │
│ │                         3        TS_03  ...                     0.700300 │ │
│ │                         4        TS_03  ...                     0.700300 │ │
│ │                         5        TS_03  ...                     0.700300 │ │
│ │                         6        TS_03  ...                     0.700300 │ │
│ │                         7        TS_03  ...                     0.700300 │ │
│ │                         8        TS_03  ...                     0.700300 │ │
│ │                         9        TS_03  ...                     0.700300 │ │
│ │                         10       TS_03  ...                     0.700300 │ │
│ │                         11       TS_03  ...                     0.700300 │ │
│ │                         12       TS_03  ...                     0.700300 │ │
│ │                         13       TS_03  ...                     0.700300 │ │
│ │                         14       TS_03  ...                     0.700300 │ │
│ │                         15       TS_03  ...                     0.700300 │ │
│ │                         16       TS_03  ...                     0.700300 │ │
│ │                         17       TS_03  ...                     0.700300 │ │
│ │                         18       TS_03  ...                     0.700300 │ │
│ │                         19       TS_03  ...                     0.700300 │ │
│ │                         20       TS_03  ...                     0.700300 │ │
│ │                         21       TS_03  ...                     0.700300 │ │
│ │                         22       TS_03  ...                     0.700300 │ │
│ │                         23       TS_03  ...                     0.700300 │ │
│ │                         24       TS_03  ...                  -143.210082 │ │
│ │                         25       TS_03  ...                  -143.210082 │ │
│ │                         26       TS_03  ...                  -143.210082 │ │
│ │                         27       TS_03  ...                  -143.210082 │ │
│ │                         28       TS_03  ...                  -143.210082 │ │
│ │                         29       TS_03  ...                  -143.210082 │ │
│ │                         30       TS_03  ...                  -143.210082 │ │
│ │                         31       TS_03  ...                  -143.210082 │ │
│ │                         32       TS_03  ...                  -143.210082 │ │
│ │                         33       TS_03  ...                  -143.210082 │ │
│ │                         34       TS_03  ...                  -143.210082 │ │
│ │                         35       TS_03  ...                  -143.210082 │ │
│ │                         36       TS_03  ...                  -143.210082 │ │
│ │                         37       TS_03  ...                  -143.210082 │ │
│ │                         38       TS_03  ...                  -143.210082 │ │
│ │                         39       TS_03  ...                  -143.210082 │ │
│ │                         40       TS_03  ...                  -143.210082 │ │
│ │                         41       TS_03  ...                  -143.210082 │ │
│ │                         42       TS_03  ...                  -143.210082 │ │
│ │                         43       TS_03  ...                  -143.210082 │ │
│ │                         44       TS_03  ...                  -143.210082 │ │
│ │                         45       TS_03  ...                  -143.210082 │ │
│ │                         46       TS_03  ...                  -143.210082 │ │
│ │                                                                          │ │
│ │                         [47 rows x 4 columns]                            │ │
│ │                   dfs = []                                               │ │
│ │                  file = PosixPath('Picks/job019/annotations/TS_03_parti… │ │
│ │             global_df = │   │   │    rlnVoltage  ...                     │ │
│ │                         rlnTomogramProjection                            │ │
│ │                         rlnTomoName              ...                     │ │
│ │                         TS_01             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_01.mrc       │ │
│ │                         TS_02             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_02.mrc       │ │
│ │                         TS_03             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_03.mrc       │ │
│ │                         TS_04             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_04.mrc       │ │
│ │                         TS_05             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_05.mrc       │ │
│ │                         TS_06             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_06.mrc       │ │
│ │                         TS_07             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_07.mrc       │ │
│ │                         TS_08             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_08.mrc       │ │
│ │                         TS_09             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_09.mrc       │ │
│ │                                                                          │ │
│ │                         [9 rows x 14 columns]                            │ │
│ │      output_directory = PosixPath('Picks/job019')                        │ │
│ │            pixel_size = 1.7005                                           │ │
│ │          scale_factor = 9.9999994115                                     │ │
│ │        tilt_series_id = 'TS_03'                                          │ │
│ │ tilt_series_star_file = PosixPath('Tomograms/job016/tomograms.star')     │ │
│ │           tomo_center = array([3399.2995, 3399.2995, 3399.2995])         │ │
│ │             tomo_size = array([4000., 4000., 4000.])                     │ │
│ │                   xyz = array([[-1.82922769e+03,  1.22279731e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.13987547e+03,  1.24594838e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-8.06295463e+02,  9.23006886e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-6.38710772e+02,  1.09388973e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-9.60375314e+02,  6.40784022e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 3.80618068e+02,  1.15324592e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.90388089e+02,  1.59316615e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 4.53806103e+02,  1.67827271e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.02293763e+03,  1.33695648e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.11161857e+03,  1.55249337e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.24984572e+03,  1.76850728e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.23450048e+03,  5.48115963e+00,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.18717790e+03,  1.94937498e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 7.70865675e+02, -1.11368326e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 5.90161875e+02, -1.62323111e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 8.04779223e+02, -1.61290777e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 4.46700554e+02, -2.14067743e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-7.93485254e+01, -2.38932489e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 9.94345541e+01, -2.51145921e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-3.76460028e+02, -2.40869952e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-2.16747307e+02, -2.68790124e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.43006221e+03, -2.34453007e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-3.06088543e+03, -7.21208648e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.21495326e+03,  1.73239099e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-2.36399029e+03, -1.39334857e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-2.07033198e+03, -1.85291559e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.07461653e+03, -1.90938532e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.06073892e+03, -2.05787846e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-8.08796262e+02, -2.06370984e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-3.46931990e+02, -2.41431586e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-2.40935726e+02, -2.68990623e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.49358331e+02, -2.49210806e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-5.01932471e+01, -2.35778813e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 5.37307048e+02, -1.23743115e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 7.50611976e+02, -1.50785985e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 9.74066873e+02, -1.55525071e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.39388416e+03, -1.41909611e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.11008588e+03, -7.07594378e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.56576589e+03, -3.02582683e+01,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-5.01985351e+02,  6.92967469e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-9.92531512e+02,  6.09802664e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.06080124e+03,  1.24080906e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.48797798e+03,  1.42660822e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.75412960e+03,  1.61395770e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-8.26463811e+02,  1.75500180e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 4.10270356e+02,  1.13524521e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 2.10693764e+03,  1.18048013e+03,        │ │
│ │                         -1.43210082e+02]])                               │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/pandas/core/frame │
│ .py:4931 in insert                                                           │
│                                                                              │
│    4928 │   │   │   )                                                        │
│    4929 │   │   if not allow_duplicates and column in self.columns:          │
│    4930 │   │   │   # Should this be a different kind of error??             │
│ ❱  4931 │   │   │   raise ValueError(f"cannot insert {column}, already exist │
│    4932 │   │   if not is_integer(loc):                                      │
│    4933 │   │   │   raise TypeError("loc must be int")                       │
│    4934 │   │   # convert non stdlib ints to satisfy typing checks           │
│                                                                              │
│ ╭────────────────────────────── locals ───────────────────────────────╮      │
│ │ allow_duplicates = False                                            │      │
│ │           column = 'rlnTomoName'                                    │      │
│ │              loc = 0                                                │      │
│ │             self =    rlnTomoName  ...  rlnCenteredCoordinateZAngst │      │
│ │                    0        TS_03  ...                     0.700300 │      │
│ │                    1        TS_03  ...                     0.700300 │      │
│ │                    2        TS_03  ...                     0.700300 │      │
│ │                    3        TS_03  ...                     0.700300 │      │
│ │                    4        TS_03  ...                     0.700300 │      │
│ │                    5        TS_03  ...                     0.700300 │      │
│ │                    6        TS_03  ...                     0.700300 │      │
│ │                    7        TS_03  ...                     0.700300 │      │
│ │                    8        TS_03  ...                     0.700300 │      │
│ │                    9        TS_03  ...                     0.700300 │      │
│ │                    10       TS_03  ...                     0.700300 │      │
│ │                    11       TS_03  ...                     0.700300 │      │
│ │                    12       TS_03  ...                     0.700300 │      │
│ │                    13       TS_03  ...                     0.700300 │      │
│ │                    14       TS_03  ...                     0.700300 │      │
│ │                    15       TS_03  ...                     0.700300 │      │
│ │                    16       TS_03  ...                     0.700300 │      │
│ │                    17       TS_03  ...                     0.700300 │      │
│ │                    18       TS_03  ...                     0.700300 │      │
│ │                    19       TS_03  ...                     0.700300 │      │
│ │                    20       TS_03  ...                     0.700300 │      │
│ │                    21       TS_03  ...                     0.700300 │      │
│ │                    22       TS_03  ...                     0.700300 │      │
│ │                    23       TS_03  ...                     0.700300 │      │
│ │                    24       TS_03  ...                  -143.210082 │      │
│ │                    25       TS_03  ...                  -143.210082 │      │
│ │                    26       TS_03  ...                  -143.210082 │      │
│ │                    27       TS_03  ...                  -143.210082 │      │
│ │                    28       TS_03  ...                  -143.210082 │      │
│ │                    29       TS_03  ...                  -143.210082 │      │
│ │                    30       TS_03  ...                  -143.210082 │      │
│ │                    31       TS_03  ...                  -143.210082 │      │
│ │                    32       TS_03  ...                  -143.210082 │      │
│ │                    33       TS_03  ...                  -143.210082 │      │
│ │                    34       TS_03  ...                  -143.210082 │      │
│ │                    35       TS_03  ...                  -143.210082 │      │
│ │                    36       TS_03  ...                  -143.210082 │      │
│ │                    37       TS_03  ...                  -143.210082 │      │
│ │                    38       TS_03  ...                  -143.210082 │      │
│ │                    39       TS_03  ...                  -143.210082 │      │
│ │                    40       TS_03  ...                  -143.210082 │      │
│ │                    41       TS_03  ...                  -143.210082 │      │
│ │                    42       TS_03  ...                  -143.210082 │      │
│ │                    43       TS_03  ...                  -143.210082 │      │
│ │                    44       TS_03  ...                  -143.210082 │      │
│ │                    45       TS_03  ...                  -143.210082 │      │
│ │                    46       TS_03  ...                  -143.210082 │      │
│ │                                                                     │      │
│ │                    [47 rows x 4 columns]                            │      │
│ │            value = 'TS_03'                                          │      │
│ ╰─────────────────────────────────────────────────────────────────────╯      │
╰──────────────────────────────────────────────────────────────────────────────╯
ValueError: cannot insert rlnTomoName, already exists

rbs-sci avatar May 02 '24 04:05 rbs-sci

I have also encountered this error.

Error message:

Please cite the full error message as the example below.

run.err
╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ in combine_particle_annotations:2                                            │
│ ╭─────────────────────────────── locals ───────────────────────────────╮     │
│ │ annotations_directory = PosixPath('Picks/job014/annotations')        │     │
│ │      output_directory = PosixPath('Picks/job014')                    │     │
│ │      pipeline_control = PosixPath('Picks/job014')                    │     │
│ │ tilt_series_star_file = PosixPath('Tomograms/job005/tomograms.star') │     │
│ ╰──────────────────────────────────────────────────────────────────────╯     │
│                                                                              │
│ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/tom │
│ ography_python_programs/_utils/relion.py:75 in pipeline_job                  │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function combine_particle_annotations at           │ │
│ │                      0x72df3f3fa170>                                     │ │
│ │      job_directory = PosixPath('Picks/job014')                           │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_series_star_file':                        │ │
│ │                      PosixPath('Tomograms/job005/tomograms.star'),       │ │
│ │                      │   'annotations_directory':                        │ │
│ │                      PosixPath('Picks/job014/annotations'),              │ │
│ │                      │   'output_directory': PosixPath('Picks/job014')   │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('Picks/job014')                           │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/tom │
│ ography_python_programs/get_particle_poses/particles.py:59 in                │
│ combine_particle_annotations                                                 │
│                                                                              │
│    56 │   │   │   'rlnCoordinateZ': 'rlnCenteredCoordinateZAngst'            │
│    57 │   │   }, inplace=True)                                               │
│    58 │   │                                                                  │
│ ❱  59 │   │   df.insert(loc=0, column='rlnTomoName', value=tilt_series_id)   │
│    60 │   │                                                                  │
│    61 │   │   dfs.append(df)                                                 │
│    62 │   df = pd.concat(dfs)                                                │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │      annotation_files = <generator object Path.glob at 0x72de9c796ea0>   │ │
│ │ annotations_directory = PosixPath('Picks/job014/annotations')            │ │
│ │                    df = │   rlnTomoName  ...                             │ │
│ │                         rlnCenteredCoordinateZAngst                      │ │
│ │                         0   AQB1tomo008  ...                             │ │
│ │                         32.690865                                        │ │
│ │                         1   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         2   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         3   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         4   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         5   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         6   AQB1tomo008  ...                             │ │
│ │                         34.057845                                        │ │
│ │                         7   AQB1tomo008  ...                             │ │
│ │                         79.303406                                        │ │
│ │                         8   AQB1tomo008  ...                             │ │
│ │                         79.303406                                        │ │
│ │                         9   AQB1tomo008  ...                             │ │
│ │                         41.787226                                        │ │
│ │                         10  AQB1tomo008  ...                             │ │
│ │                         103.038337                                       │ │
│ │                         11  AQB1tomo008  ...                             │ │
│ │                         127.593457                                       │ │
│ │                         12  AQB1tomo008  ...                             │ │
│ │                         127.593457                                       │ │
│ │                         13  AQB1tomo008  ...                             │ │
│ │                         172.018818                                       │ │
│ │                         14  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         15  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         16  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         17  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         18  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         19  AQB1tomo008  ...                             │ │
│ │                         -108.240357                                      │ │
│ │                         20  AQB1tomo008  ...                             │ │
│ │                         -58.583316                                       │ │
│ │                         21  AQB1tomo008  ...                             │ │
│ │                         -58.583316                                       │ │
│ │                         22  AQB1tomo008  ...                             │ │
│ │                         -138.027147                                      │ │
│ │                         23  AQB1tomo008  ...                             │ │
│ │                         -138.027147                                      │ │
│ │                         24  AQB1tomo008  ...                             │ │
│ │                         -179.681418                                      │ │
│ │                         25  AQB1tomo008  ...                             │ │
│ │                         -179.681418                                      │ │
│ │                         26  AQB1tomo008  ...                             │ │
│ │                         -129.750977                                      │ │
│ │                         27  AQB1tomo008  ...                             │ │
│ │                         -129.750977                                      │ │
│ │                         28  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         29  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         30  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         31  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         32  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         33  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         34  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         35  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         36  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         37  AQB1tomo008  ...                             │ │
│ │                         -35.121776                                       │ │
│ │                         38  AQB1tomo008  ...                             │ │
│ │                         -55.538816                                       │ │
│ │                         39  AQB1tomo008  ...                             │ │
│ │                         -55.538816                                       │ │
│ │                         40  AQB1tomo008  ...                             │ │
│ │                         -28.485986                                       │ │
│ │                                                                          │ │
│ │                         [41 rows x 4 columns]                            │ │
│ │                   dfs = []                                               │ │
│ │                  file = PosixPath('Picks/job014/annotations/AQB1tomo008… │ │
│ │             global_df = │   │   │    rlnVoltage  ...                     │ │
│ │                         rlnTomogramProjection                            │ │
│ │                         rlnTomoName              ...                     │ │
│ │                         AQB1tomo002       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo002.mrc │ │
│ │                         AQB1tomo005       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo005.mrc │ │
│ │                         AQB1tomo006       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo006.mrc │ │
│ │                         AQB1tomo008       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo008.mrc │ │
│ │                         AQB1tomo012       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo012.mrc │ │
│ │                         AQB1tomo013       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo013.mrc │ │
│ │                         AQB1tomo014       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo014.mrc │ │
│ │                         AQB1tomo015       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo015.mrc │ │
│ │                         AQB1tomo018       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo018.mrc │ │
│ │                         AQB1tomo019       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo019.mrc │ │
│ │                         AQB1tomo020       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo020.mrc │ │
│ │                         AQB1tomo021       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo021.mrc │ │
│ │                         AQB1tomo022       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo022.mrc │ │
│ │                         AQB1tomo024       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo024.mrc │ │
│ │                         AQB1tomo028       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo028.mrc │ │
│ │                         AQB1tomo029       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo029.mrc │ │
│ │                         AQB1tomo030       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo030.mrc │ │
│ │                         AQB1tomo031       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo031.mrc │ │
│ │                         AQB1tomo037       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo037.mrc │ │
│ │                         AQB1tomo038       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo038.mrc │ │
│ │                         AQB1tomo040       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo040.mrc │ │
│ │                         AQB1tomo042       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo042.mrc │ │
│ │                         AQB1tomo045       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo045.mrc │ │
│ │                         AQB1tomo048       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo048.mrc │ │
│ │                         AQB1tomo049       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo049.mrc │ │
│ │                         AQB1tomo053       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo053.mrc │ │
│ │                         AQB1tomo054       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo054.mrc │ │
│ │                         AQB1tomo055       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo055.mrc │ │
│ │                         AQB1tomo056       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo056.mrc │ │
│ │                         AQB1tomo057       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo057.mrc │ │
│ │                         AQB1tomo059       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo059.mrc │ │
│ │                         AQB1tomo063       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo063.mrc │ │
│ │                         AQB1tomo069       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo069.mrc │ │
│ │                         AQB1tomo072       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo072.mrc │ │
│ │                         AQB1tomo073       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo073.mrc │ │
│ │                         AQB1tomo075       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo075.mrc │ │
│ │                         AQB1tomo083       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo083.mrc │ │
│ │                         AQB1tomo084       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo084.mrc │ │
│ │                         AQB1tomo085       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo085.mrc │ │
│ │                         AQB1tomo086       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo086.mrc │ │
│ │                         AQB1tomo090       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo090.mrc │ │
│ │                         AQB1tomo092       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo092.mrc │ │
│ │                         AQB1tomo126       300.0  ...                     │ │
│ │                         Tomograms/job005/projections/rec_AQB1tomo126.mrc │ │
│ │                                                                          │ │
│ │                         [43 rows x 14 columns]                           │ │
│ │      output_directory = PosixPath('Picks/job014')                        │ │
│ │            pixel_size = 2.116                                            │ │
│ │          scale_factor = 10.000000168                                     │ │
│ │        tilt_series_id = 'AQB1tomo008'                                    │ │
│ │ tilt_series_star_file = PosixPath('Tomograms/job005/tomograms.star')     │ │
│ │           tomo_center = array([4758.884, 6345.884, 1479.084])            │ │
│ │             tomo_size = array([4500., 6000., 1400.])                     │ │
│ │                   xyz = array([[ 2909.48431883, -2202.07721038,          │ │
│ │                         32.6908654 ],                                    │ │
│ │                         │      [ 3011.56576054, -1987.01280677,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3218.98612403, -1942.16363602,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3324.05659579, -2103.34633873,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3217.346774  , -2305.80800213,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3067.29606148, -2301.02093205,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3379.78689673, -2417.354464  ,          │ │
│ │                         34.05784542],                                    │ │
│ │                         │      [ 3517.09849904, -2110.34495884,          │ │
│ │                         79.30340618],                                    │ │
│ │                         │      [ 3623.29128082, -2250.97685121,          │ │
│ │                         79.30340618],                                    │ │
│ │                         │      [ 3553.55110965, -2409.48865387,          │ │
│ │                         41.78722555],                                    │ │
│ │                         │      [ 3779.74458345, -2229.97209085,          │ │
│ │                         103.03833658],                                   │ │
│ │                         │      [ 3908.67670562, -2037.29586762,          │ │
│ │                         127.59345699],                                   │ │
│ │                         │      [ 3599.98466043, -1934.80793589,          │ │
│ │                         127.59345699],                                   │ │
│ │                         │      [ 3782.12793349, -1899.5240553 ,          │ │
│ │                         172.01881774],                                   │ │
│ │                         │      [ 2992.29405022, -2790.95607028,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 3099.60913202, -2911.03717229,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 3292.82736527, -2876.02822171,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 3394.61609698, -2680.27174842,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 3288.42331519, -2539.63984606,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 3089.72284186, -2591.62940693,          │ │
│ │                         -108.24035697],                                  │ │
│ │                         │      [ 2785.34294674, -2487.35316518,          │ │
│ │                         -58.58331614],                                   │ │
│ │                         │      [ 2961.68255971, -2427.78802418,          │ │
│ │                         -58.58331614],                                   │ │
│ │                         │      [ 2743.16286603, -2652.41618795,          │ │
│ │                         -138.02714747],                                  │ │
│ │                         │      [ 2826.43363743, -2795.74791036,          │ │
│ │                         -138.02714747],                                  │ │
│ │                         │      [ 2772.28458652, -2961.20795314,          │ │
│ │                         -179.68141817],                                  │ │
│ │                         │      [ 2863.71408806, -3121.95546584,          │ │
│ │                         -179.68141817],                                  │ │
│ │                         │      [ 3034.35776093, -3074.26099504,          │ │
│ │                         -129.75097733],                                  │ │
│ │                         │      [ 3139.9893827 , -3225.16829757,          │ │
│ │                         -129.75097733],                                  │ │
│ │                         │      [ 3562.06684979, -3038.29026443,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3383.05073678, -3063.45901486,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3433.29879763, -3394.44774042,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3324.4295258 , -3219.41944748,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3584.47181017, -3378.68402015,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3673.74187167, -3161.94155651,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3863.59320486, -3188.58499696,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3738.75320276, -3472.81468173,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3905.68252556, -3502.15794223,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 4001.98901718, -3323.38206922,          │ │
│ │                         -35.12177574],                                   │ │
│ │                         │      [ 3547.56321955, -2761.53655978,          │ │
│ │                         -55.53881608],                                   │ │
│ │                         │      [ 3664.72048152, -2868.20726158,          │ │
│ │                         -55.53881608],                                   │ │
│ │                         │      [ 3631.38320096, -3619.6572042 ,          │ │
│ │                         -28.48598563]])                                  │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/pan │
│ das/core/frame.py:5158 in insert                                             │
│                                                                              │
│    5155 │   │   │   )                                                        │
│    5156 │   │   if not allow_duplicates and column in self.columns:          │
│    5157 │   │   │   # Should this be a different kind of error??             │
│ ❱  5158 │   │   │   raise ValueError(f"cannot insert {column}, already exist │
│    5159 │   │   if not is_integer(loc):                                      │
│    5160 │   │   │   raise TypeError("loc must be int")                       │
│    5161 │   │   # convert non stdlib ints to satisfy typing checks           │
│                                                                              │
│ ╭─────────────────────────────── locals ───────────────────────────────╮     │
│ │ allow_duplicates = False                                             │     │
│ │           column = 'rlnTomoName'                                     │     │
│ │              loc = 0                                                 │     │
│ │             self = │   rlnTomoName  ...  rlnCenteredCoordinateZAngst │     │
│ │                    0   AQB1tomo008  ...                    32.690865 │     │
│ │                    1   AQB1tomo008  ...                    34.057845 │     │
│ │                    2   AQB1tomo008  ...                    34.057845 │     │
│ │                    3   AQB1tomo008  ...                    34.057845 │     │
│ │                    4   AQB1tomo008  ...                    34.057845 │     │
│ │                    5   AQB1tomo008  ...                    34.057845 │     │
│ │                    6   AQB1tomo008  ...                    34.057845 │     │
│ │                    7   AQB1tomo008  ...                    79.303406 │     │
│ │                    8   AQB1tomo008  ...                    79.303406 │     │
│ │                    9   AQB1tomo008  ...                    41.787226 │     │
│ │                    10  AQB1tomo008  ...                   103.038337 │     │
│ │                    11  AQB1tomo008  ...                   127.593457 │     │
│ │                    12  AQB1tomo008  ...                   127.593457 │     │
│ │                    13  AQB1tomo008  ...                   172.018818 │     │
│ │                    14  AQB1tomo008  ...                  -108.240357 │     │
│ │                    15  AQB1tomo008  ...                  -108.240357 │     │
│ │                    16  AQB1tomo008  ...                  -108.240357 │     │
│ │                    17  AQB1tomo008  ...                  -108.240357 │     │
│ │                    18  AQB1tomo008  ...                  -108.240357 │     │
│ │                    19  AQB1tomo008  ...                  -108.240357 │     │
│ │                    20  AQB1tomo008  ...                   -58.583316 │     │
│ │                    21  AQB1tomo008  ...                   -58.583316 │     │
│ │                    22  AQB1tomo008  ...                  -138.027147 │     │
│ │                    23  AQB1tomo008  ...                  -138.027147 │     │
│ │                    24  AQB1tomo008  ...                  -179.681418 │     │
│ │                    25  AQB1tomo008  ...                  -179.681418 │     │
│ │                    26  AQB1tomo008  ...                  -129.750977 │     │
│ │                    27  AQB1tomo008  ...                  -129.750977 │     │
│ │                    28  AQB1tomo008  ...                   -35.121776 │     │
│ │                    29  AQB1tomo008  ...                   -35.121776 │     │
│ │                    30  AQB1tomo008  ...                   -35.121776 │     │
│ │                    31  AQB1tomo008  ...                   -35.121776 │     │
│ │                    32  AQB1tomo008  ...                   -35.121776 │     │
│ │                    33  AQB1tomo008  ...                   -35.121776 │     │
│ │                    34  AQB1tomo008  ...                   -35.121776 │     │
│ │                    35  AQB1tomo008  ...                   -35.121776 │     │
│ │                    36  AQB1tomo008  ...                   -35.121776 │     │
│ │                    37  AQB1tomo008  ...                   -35.121776 │     │
│ │                    38  AQB1tomo008  ...                   -55.538816 │     │
│ │                    39  AQB1tomo008  ...                   -55.538816 │     │
│ │                    40  AQB1tomo008  ...                   -28.485986 │     │
│ │                                                                      │     │
│ │                    [41 rows x 4 columns]                             │     │
│ │            value = 'AQB1tomo008'                                     │     │
│ ╰──────────────────────────────────────────────────────────────────────╯     │
╰──────────────────────────────────────────────────────────────────────────────╯
ValueError: cannot insert rlnTomoName, already exists

dmichalak avatar May 03 '24 14:05 dmichalak

Solved my issue. I updated RELION's code with git pull and updated the conda environment. This added an if statement that takes care of the issue.

dmichalak avatar May 03 '24 19:05 dmichalak

Can confirm "particle" extraction works in commit 6331fe. git log attributes fix to Bogdan Toader, so thanks for the fix!

rbs-sci avatar May 04 '24 07:05 rbs-sci