Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

path + checkpoint #274

Open
Ella77 opened this issue Feb 5, 2019 · 2 comments
Open

path + checkpoint #274

Ella77 opened this issue Feb 5, 2019 · 2 comments

Comments

@Ella77
Copy link

Ella77 commented Feb 5, 2019

기타

keras callback 중 하나인 modelcheckpoint을 사용하고 싶은데 file path를 DATASET_PATH+모델명으로 지정하여 사용 하고 싶은데 Unable to create file (unable to open file) no such file from directory 라고 뜨는 등 어렵습니다. nsml_save 와 연동해서 파일을 만들어야 하는지요
https://keras.io/callbacks/

txt나 npy파일도 path에 저장하고 싶습니다.

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

또한 학습중에 validation_generator=validation_datagen.flow_from_directory (
directory=DATASET_PATH + '/validation/validation_data')
이런 식으로 참조하고 싶은데 접근할 수 없는거죠?

@ttagu99
Copy link

ttagu99 commented Feb 6, 2019

기타

keras callback 중 하나인 modelcheckpoint을 사용하고 싶은데 file path를 DATASET_PATH+모델명으로 지정하여 사용 하고 싶은데 Unable to create file (unable to open file) no such file from directory 라고 뜨는 등 어렵습니다. nsml_save 와 연동해서 파일을 만들어야 하는지요
https://keras.io/callbacks/

txt나 npy파일도 path에 저장하고 싶습니다.

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

또한 학습중에 validation_generator=validation_datagen.flow_from_directory (
directory=DATASET_PATH + '/validation/validation_data')
이런 식으로 참조하고 싶은데 접근할 수 없는거죠?

해당 세션에서 train 할때만 쓰는 파일이라면 그냥 keras 기본 modelcheckpoint callback 사용하셔두 되구요. submit 에서 사용하려면, nsml.save를 사용해야 되네요. 저는 각 check point 별 모델 파일을 나중에 submit할때 필요한 경우에는 keras call back 을 상속 받은 클래스를 하나 만들어서 아래처럼 save하고 있습니다.
image

npy 파일도 접근이 가능한 경로라면 쓰고,읽고 됩니다. 아마 데이터 경로에 쓰기가 안되서 그럴거 같구요.
저는 아래 경로에 파일 읽고, 쓰기 사용 되었습니다.
np.save('./mean.npy', mean_arr)

@nsml-admin
Copy link
Collaborator

validation이라는 파일은 현재없습니다.

train/test 만 있고 학습중에는

DATASET_PATH + '/train/train_data' 로,

submit일떄는

DATASET_PATH + '/test/test_data' 로 접근하시면 됩니다.

@ttagu99 님이 말씀하신대로 현재 경로의 하위에 파일을 세이브하면 파일저장이 가능합니다.

감사합니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants