Situation Tableau에서 Amazon Redshift를 연결한 후 쿼리를 실행하려고 할때 아래와 같은 오류가 났다. Error: "[Amazon][Redshift ODBC] (30) Error occurred while trying to execute a Query ERROR: Missing data for not-null field DETAIL"(오류: "[Amazon][Redshift ODBC] (30) 쿼리 실행 시 오류 발생 ERROR: null이 아닌 필드 DETAIL에 대한 데이터가 없음") 및 "[Amazon][Redshift ODBC] (30) Error occurred while trying to execute a query ERROR: Error converting text ..
대용량 데이터 프레임을 다루기 위한 시간 단축하기 대용량의 df를 여러 번 읽어야 할 경우, 단순 loc 등으로 검색하는 것이 아닌 이를 db로 구현하여 index를 이용한 select가 훨씬 빠르다. 이 때 db로 사용할 sqlite에 대한 내용은 아래 포스트를 참고하길 바란다. > db를 생성할 땐 두가지 방법이 있다. db connect 할 때 쓰이는 코드인데 연결하고자 하는 db가 없을 경우 새로 생성해준다. from sqlalchmey import create_engine import sqlite3 example = create_engine('sqlite:///db파일명.db') example = sqlite3.connect('db파일명.db') csv의 용량이 너무 크면 memory error..
situation pandas의 경우, z컬럼 타입을 동적 추론 하는데 많은 메모리가 소모된다. 따라서 왠만하면 타입을 정해주는 게 좋다. solution columns의 데이터 타입을 정해주거나 low_memory=False라는 파라미터를 추가하여 메모리를 덜 잡아 먹도록 해주라는 경고이다.
situation if date == '' : continue 시간이 null인 경우는 insert 안 하게끔 해줬으나 time data 0000-00-00 00:00:00 doesn't match format specified 이런 오류가 떴다. reason 이유는 아직 잘 모르겠다 ,, solution DB에 insert할 때 없는 경우, null이 아닌 0000-00-00 00:00:00로 업로드 된 것 따라서, if date == '0000-00-00 00:00:00' : continue 이렇게 해줘야 오류를 피할 수 있다.
