nomard) python기초 ( ERROR 모음 )

https://nomadcoders.co/python-for-beginners

Python으로 웹 스크래퍼 만들기 – 노마드 코더 Nomad Coders

 

2023.03.10

Selenium headless 적용하기

 : selenium으로 crom을 경유해서 특정 페이지에 접근할 경우 한번 접근할 때 마다 browser를 열어야하는

부담이 있다. 이를 해결할 수 있는 코드가 두 개 있다.

# --headless : scrapping 할 때 browser를 띄우지 않는다.

    options.add_argument("--headless")

    # --disable-gpu : headless 사용시 발생하는 오류를 막아준다.

    options.add_argument('--disable-gpu')

위의 코드 두개이다. normad python 강의를 따라하는데, 갑자기 indeed에 로봇확인 시스템이 추가되서 indeed의 job 데이터를 가져오려면 response가 아니라 selenium을 이용해서 crom을 경유해서 indeed로 접속해야한다.

 

headless는 browser를 open하지 않고 접속해서 데이터를 가져오기 때문에 많은 시도를 해도 시간이 오래걸리지 않는다.

다만 headless만 사용했을 때는 GPU 드라이버에 문제가 발생했다.

 

따라서 disable-gpu를 이용해서 gpu드라이버 가속을 사용하지 않음으로서 문제를 해결했다.

** Flask를 이용해서 search.html에 jobs 데이터를 띄우는 작업을 하는 도중에 headless가 적용되고 있는 중에

에러가 발생하는 것으로 보아 headless를 적용하면 해당 페이지의 정보를 온전히 불러오는데 불편함이 있는 것 같다,

 

Flask로 html파일 rendering 오류

 : html 파일 내부에는 <-- --> 로 사용되는 html 주석을 사용하면 UTF-8 관련 오류가 발생해서

html 주석을 사용하지 않는 쪽으로 과제를 진행하겠다.

---