[MACHINELEARNING]TIL5 requests로 세션 쓰기와 PhantomJS + Selenium 활용

오늘은 requests로 세션 쓰기와 PhantomJS + Selenium 설치를 공부해보도록 하겠습니다

웹페이지에는 로그인할때는 세션이 필요한데 requests모듈에는 session함수로 세션 생성을 할 수 있습니다. 

그 생성된 세션을 가지고 get을 실행 할 수 있습니다

구글을 세션을 이용하여 get 요청을 날려보도록 하겠습니다

결과가 잘 나왔음을 알 수 있습니다

PhantomJS + Selenium 설치를 해보도록 하겠습니다

이번엔 도커 ubuntu:16.04 이미지를 사용하도록 하겠습니다.

그 다음에는 apt update를 실행시켜줍니다

그리고 나서 python3과 python3-pip를 설치하도록 하겠습니다

이제 selenium과 phantomjs를 설치하도록 하겠습니다

이렇게 이미지를 쓰고나서 또 docker commit을 통해 저장해보도록 하겠습니다.

느낀점

selenium 모듈은 이미 알고 있었지만 phantomjs 모듈은 써 본적이 없어서 기대가 되는 중입니다.