[크롤링]1-1 데이터 다운로드하기

파이썬을 이용한 머신러닝, 딥러닝 실전개발 입문 책을 보고 공부하는 중입니다

웹상의 정보를 추출하는 방법

파이썬은 웹 사이트에 있는 데이터를 추출하기 위해 urllib 라이브러리를 사용합니다.

이 라이브러리를 이용하면 http 또는 ftp를 사용해 데이터를 다운로드 할 수 있습니다

urllib는 URL을 다루는 모듈을 모아놓은 패키지라고 할 수 있습니다.

그중에서도 urllib.request 모듈은 웹 사이트에 있는 데이터에 접근하는 기능을 제공합니다.

또한 인증, 리다이렉트, 쿠키처럼 인터넷을 이용한 다양한 요청과 처리를 지원합니다.

urllib.request를 이용한 다운로드

urlretrieve()함수를 사용하여 직접 파일을 다운로드 할 수 있습니다.

urlopen()으로 파일에 저장하는 방법

urlopen()을 이용하면 곧바로 파일로 저장하는 것이 아니라 데이터를 파이썬 메모리 위에 올릴 수 있습니다.

그럼 urlopen()을 이용해 메모리 위에 데이터를 올리고, 이후에 파일을 저장합니다

두 방법 모두 잘 저장이 되었음을 확인 할 수 있습니다.

웹에서 데이터 추출하기

웹 api를 이용해서 ip 주소, useragent 등의 클라이언트 접속 정보를 출력하는 ip 확인 api에 접근해서 정보를 추출해 보겠습니다.

잘 나옴을 알 수 있습니다.

매개변수를 추가해 요청을 전송하는 방법

기상청 api를 이용해서 지역번호를 매개변수로 지정하여 기상정보를 들고 오도록 하겠습니다

전국 108 서울/경기 109 입니다

잘 나옴을 알 수 있습니다

매개 변수를 명령줄에서 지정하기

sys모듈을 이용해여 명령줄에서 바로 매개변수를 받도록 프로그램을 짜도록 하겠습니다.

잘 나옴을 알 수 있습니다.