selenium

05.02 데이터 엔지니어링 17일차 - crawling project (2)

2023.05.02

오늘은 어제 해결하지 못 했던 부분을 해결하고 코드를 리팩토링했다. 먼저, Features지만 뉴스 기사가 아닌 카테고리에 해당하는 Features가 있어 이를 크롤링에서 제외하는 코드를 추가했다. features = driver.find_elements(By.PARTIAL_LINK_TEXT, "Features") for feature in features: # 기사가 아닌 카테고리 features는 제외 if feature.text == 'Features': print(feature.text) continue Features에 해당하는 elements를 전부 읽으면서 text가 Features인지 확인한다. 뉴스 기사일 경우, Features.text에 제목이 포함되어 있고 카테고리면 Features로..

Develop/TroubleShooting

stale element reference: element is not attached to the page document

2023.05.02

situation selenium으로 크롤링 작업하는 중 위와 같은 오류 메세지가 떴다. 오류 없이 잘 작동하는 걸 확인하고 코드를 추가했는데 갑자기 이 오류 메세지가 뜨더니 늪에 빠졌다. 메세지를 직역하면 elements가 페이지 문서(아마 html)에 첨부되지 않았다고 한다. 즉, 그 요소가 html에 없는데 크롤링하려고 해서 생긴 상황이고 웹페이지가 빨리 넘어가서 elements를 찾을 수 없다는 에러이다. solution 따라서 페이지가 넘어가지 않도록 time.sleep() 을 통해 웹페이지 이동을 지연시켜 주면 된다.

05.02 데이터 엔지니어링 17일차 - crawling project (2)

stale element reference: element is not attached to the page document

티스토리툴바