전체 글 검색 결과
567 개의 검색 결과가 있습니다.
Language/Python

[MACHINELEARNING]TIL5 requests로 세션 쓰기와 PhantomJS + Selenium 활용

오늘은 requests로 세션 쓰기와 PhantomJS + Selenium 설치를 공부해보도록 하겠습니다 웹페이지에는 로그인할때는 세션이 필요한데 requests모듈에는 session함수로 세션 생성을 할 수 있습니다. 그 생성된 세션을 가지고 get을 실행 할 수 있습니다 구글을 세션을 이용하여 get 요청을 날려보도록 하겠습니다 결과가 잘 나왔음을 알 수 있습니다 PhantomJS + Selenium 설치를 해보도록 하겠습니다 이번엔 도커 ubuntu:16.04 이미지를 사용하도록 하겠습니다. 그 다음에는 apt update를 실행시켜줍니다 그리고 나서 python3과 python3-pip를 설치하도록 하겠습니다 이제 selenium과 phantomjs를 설치하도록 하겠습니다 이렇게 이미지를 쓰고나서..

2018. 11. 29. 00:38
Language/Python

[MACHINELEARNING]TIL4 네이버 금융과 뉴스 크롤링하기

오늘은 조금 더 발전된 네이버 금융사이트와 뉴스 사이트를 크롤링 하는 법을 공부하도록 하겠습니다 네이버 금융페이지에서 위에 보이는 원달러 환율을 크롤링하려고 검사를 눌러보니 span에 class가 value로 되어있는것을 볼수가 있습니다 따라서 코드를 짜보겠습니다. 이렇게 여러개가 나오는 이유는 원달러 원엔 원유로 등등이 같이 value class로 되어있기 때문입니다. 그래서 원달러 원엔 원유로 환율만 뽑도록 해보겠습니다 잘 나옴을 볼 수가 있습니다. 이제 네이버뉴스에서 오른쪽 아래에 랭킹을 크롤링하고자 검사를 눌러보니 strong 태그에 title class로 제목이 코드로 짜여있는 것을 확인할 수 있습니다. 따라서 코드를 짜보도록 하겠습니다 랭킹 제목이 잘 나옴을 알 수 있습니다. 이제 네이버 IT..

2018. 11. 28. 01:30
Language/C++

[BAEKJOON]15954 인형들

https://www.acmicpc.net/problem/15954

2018. 11. 27. 12:09
Language/Python

[MachineLearning]TIL3 GET방식과 BS4를 사용한 크롤링

오늘은 GET방식과 BS4를 사용해서 크롤링을 하는 법을 배워보았습니다 네이버 메인에서 초콜릿이라고 친 url을 가지고 크롤링을 해볼것입니다 https://search.naver.com/search.naver?sm=top_hty&fbm=1&ie=utf8&query=%EC%B4%88%EC%BD%9C%EB%A6%BF 방식 :GET대상 : https://search.naver.com/ => 호스트이름추가적인 정보 - 경로: /search.naver- 데이터?sm=top_hty&fbm=1&ie=utf8&query=%EC%B4%88%EC%BD%9C%EB%A6%BF(=초콜릿) url을 분석하면 ?뒤에는 GET 파라미터로 &로 구분되고 초콜릿은 url 인코딩이 되어있습니다 403 forbidden이 뜨는 이유는 찾아..

2018. 11. 27. 01:49
Language/Python

[MachineLearning]TIL2 웹에서 데이터 가져오기

TIL2는 웹에서 데이터 가져오기입니다 이미지를 urlib라이브러를 써서 저장하는 첫번째 방법입니다 두번째 방법은 이미지의 바이너리를 읽어서 저장하는 방법입니다. 다음 방법은 텍스트를 웹에서 가져오는 방법입니다 구글메인의 텍스트를 가져오도록 하겠습니다. 다음은 decode 함수를 써서 ini파일을 가져오도록 하겠습니다 느낀점 웹크롤링은 예전부터 하던것이라 이번 기초단계는 빠르게 넘어갔지만그래도 코드를 보지 않고 칠 정도의 수준이 되어야겠다고 느꼈습니다.

2018. 11. 26. 01:21
Language/Python

[MachineLearning]TIL1 Docker 설치 및 개발환경 구축

오늘부터 3월달에 시작하고 하지 않았던 머신러닝 딥러닝 실전 개발 입문책을 다시 보고 TIL을 적어보도록 하겠습니다 처음으론 Docker 설치를 통해 개발환경 구축을 하는것입니다. window 10 pro or enterprise 버젼이나 mac유저가 아닌 분들은 Docker ToolBox를 추천합니다 저는 Edu버젼이므로 ToolBox를 설치하였습니다. 설치를 하게 되면 이렇게 고래모양의 Docker 터미널이 뜨게됩니다 그리고나서 docker run hello-world를 쳐보면 잘 실행된것을 알수있습니다. docker는 가상환경을 구축해주고 컨테이너를 기반으로 합니다 docker는 공유된 이미지를 다운받아 쓰면 같은 개발환경을 구축할 수 있습니다 miniconda를 설치해보도록 하겠습니다 다운 받은 ..

2018. 11. 26. 00:51