멀티프로세싱

Language/Python

[python] joblib 이용하여 멀티프로세싱의 결괏값 저장하기

이번에는 각 프로세스의 결괏값들을 합쳐 멀티 프로세싱 이후 다른 작업을 해보도록 하자. 기본 멀티프로세싱 코드는 이전에 작성한 포스트에서 확인 가능하다:) 2022.07.28 - [IT/python] - [python] joblib을 이용하여 멀티프로세싱(multi processing) 적용하기 [python] joblib을 이용하여 멀티프로세싱(multi processing) 적용하기 오늘은 joblib 라이브러리로 멀티프로세싱 하는 방법을 알아보자. 멀티프로세싱 예제 코드를 검색하면 대부분 import multiprocessing로 작성하는 예제가 나오는데 필자는 joblib으로 코드를 익혀서 hyang2data.tistory.com 분명 저장하는 방법이 있을 거 같은데 구글링 해도 전부 import..

Language/Python

[python] joblib을 이용하여 멀티프로세싱(multi processing) 적용하기

오늘은 joblib 라이브러리로 멀티프로세싱 하는 방법을 알아보자. 멀티프로세싱 예제 코드를 검색하면 대부분 import multiprocessing로 작성하는 예제가 나오는데 필자는 joblib으로 코드를 익혀서 joblib이 더 익숙하다. 개인적으로 joblib의 멀티프로세싱 더 코드가 깔끔한 거 같기도 ㅎㅎ 항상 코드를 작성할 땐 사용자가 선택 할 수 있도록 작성하는 것이 좋은 코드라고 생각하기 때문에 이번에도 멀티프로세싱의 사용 여부를 선택할 수 있도록 해주었다. from joblib import Parallel, delayed import os # multi processing option USE_MULTIPROCESS = True def make_filelist(filepath): # 병렬로 ..

향식이
'멀티프로세싱' 태그의 글 목록