이번에는 각 프로세스의 결괏값들을 합쳐 멀티 프로세싱 이후 다른 작업을 해보도록 하자. 기본 멀티프로세싱 코드는 이전에 작성한 포스트에서 확인 가능하다:) 2022.07.28 - [IT/python] - [python] joblib을 이용하여 멀티프로세싱(multi processing) 적용하기 [python] joblib을 이용하여 멀티프로세싱(multi processing) 적용하기 오늘은 joblib 라이브러리로 멀티프로세싱 하는 방법을 알아보자. 멀티프로세싱 예제 코드를 검색하면 대부분 import multiprocessing로 작성하는 예제가 나오는데 필자는 joblib으로 코드를 익혀서 hyang2data.tistory.com 분명 저장하는 방법이 있을 거 같은데 구글링 해도 전부 import..
오늘은 joblib 라이브러리로 멀티프로세싱 하는 방법을 알아보자. 멀티프로세싱 예제 코드를 검색하면 대부분 import multiprocessing로 작성하는 예제가 나오는데 필자는 joblib으로 코드를 익혀서 joblib이 더 익숙하다. 개인적으로 joblib의 멀티프로세싱 더 코드가 깔끔한 거 같기도 ㅎㅎ 항상 코드를 작성할 땐 사용자가 선택 할 수 있도록 작성하는 것이 좋은 코드라고 생각하기 때문에 이번에도 멀티프로세싱의 사용 여부를 선택할 수 있도록 해주었다. from joblib import Parallel, delayed import os # multi processing option USE_MULTIPROCESS = True def make_filelist(filepath): # 병렬로 ..
multi gpu 사용하기 모델링 할 때 gpu를 사용하면 속도가 몇만배이상 빨라진다. 그러나 모델이 복잡해지면 복잡해질수록 single gpu가 아닌 multi gpu를 사용하게 되는데 이 때는 약간의 코드만 추가해주면 된다. 예시 코드 * tensorflow 기준 import tensorflow as tf tf.compat.v1.disable_eager_execution() mirrored_strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0", "/gpu:1"]) gpu 0번과 1번을 사용하겠다는 예시이다. 나는 실행시킬 때, $ CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1,2 python3 mode..
