Language 검색 결과
423 개의 검색 결과가 있습니다.
Language/Python

[MACHINELEARNING]TIL9 scikit learn 기본 구성

오늘은 scikit learn에 대해 공부 해보도록 하겠습니다 파이썬에서 쉽게 사용할 수 있는 머신러닝 프레임워크 scikit learn은 다양한 분류기를 지원하며, 머신러닝의 결과를 검증하는 기능도 가지고 있습니다. XOR 연산을 학습해보도록 하겠습니다. p q p xor q 0 0 0 1 0 1 0 1 1 1 1 0 이러한 xor 연산 규칙 데이터를 기반으로 머신러닝으로 학습해보도록 하겠습니다 데이터를 학습시키고나서 데이터 예측을 하니 리스트형식으로 잘 나옴을 볼 수 있습니다 이번엔 정답률을 추출 해보도록 하겠습니다. 학습시키기 위한 데이터 변수와 정답 레이블 변수로 나누어서 코드를 짰습니다.이렇게 나누는 이유는 scikit-learn의 머신러닝을 수행할 때 사용하는 fit() 메서드의 매개변수를 맞..

2018. 12. 12. 01:34
Language/Python

[MACHINELEARNING]TIL8 CSV와 EXCEL 데이터 수집하기

오늘은 CSV와 EXCEL 데이터 수집하기를 해보도록 하겠습니다 CSV란 콤마로 구분된 데이터를 뜻합니다 CSV(comma-seperated-values) > TSV , SSV1. 한 줄에 데이터 하나, 한 줄에는 쉼표로 속성 구분2. 첫 번째 줄은 헤더로 사용 가능1000, 비누, 300 # 1번 데이터1001, 장갑, 150 # 2번 데이터1002, 마스크, 230 # 3번 데이터CSV가 용량이 가장 좋습니다 (XML, JSON에 비하여)CSV가 표현력이 제일 좋지 않습니다 (XML, JSON에 비하여) 밑에 데이터를 긁어다가 데이터 가공을 해보도록 하겠습니다 개행을 split로 다 분리해주고 또 ,로 분리해주니 밑에처럼 리스트 형식으로 잘 나옴을 알 수 있습니다 엑셀에서 CSV형식으로 데이터를 저장..

2018. 12. 6. 04:04
Language/Python

[MACHINELEARNING]TIL7 XML과 JSON 형식 데이터 수집하기

오늘은 XML데이터와 JSON 데이터를 수집해보도록 하겠습니다 XML 데이터 특징 로 요소 element 구성 콘텐츠 넣기{{콘텐츠}} 속성{{콘텐츠}}root태그는 하나 기상청 XML 데이터를 수집해보도록 하겠습니다 위의 코드로 XML 데이터를 들고오면 아래의 결과가 나옴을 알 수 있습니다 위의 출력된 데이터중에서 원하는 데이터만 뽑아 내도록 하겠습니다 location과 data , wf로 인덱싱하여 원하는 날씨만 뽑아내었습니다 json 특징 json = javascript object notation 6가지 데이터 타입을 넣을 수 있습니다숫자 : 10, 273, 2.4문자열 : "안녕하세여"BOOL : true, falsenull : null배열 : [10,273]객체 :{ "키A" : 273, "키..

2018. 12. 5. 07:08
Language/Python

[MACHINELEARNING]TIL6 SELENIUM과 PHANTOMJS를 이용하여 네이버 로그인 해보기

오늘은 SELENIUM과 PHANTOMJS를 이용하여 네이버 로그인을 해보겠습니다 오늘은 어제 저장해놨던 이미지를 윈도우 폴더를 마운트해서 실행할겁니다하지만 인코딩을 안해주면 한글이 깨질 가능성이 있어서 인코딩 옵션을 넣어서 실행하도록 하겠습니다. 위의 코드는 기본 SELENIUM과 PHANTOMJS 골격 코드입니다 웹드라이버로 브라우저를 열고나서 셀레니움의 버그성으로 인해 3초간 딜레이를 넣어 기다려줍니다그리고 url에 접속하고 그다음에 사진으로 저장을합니다 네이버 메인화면이 잘 저장된것을 확인 할 수 있습니다 이제 대망의 로그인을 해보도록 하겠습니다 로그인 페이지가 잘 들어가지는지 사진으로 저장해서 확인합니다 그뒤에 id란과 pw란과 버튼을 검사를 눌러 지표가 될만한 것들을 봐줍니다 id나 name ..

2018. 11. 30. 02:20
Language/Python

[MACHINELEARNING]TIL5 requests로 세션 쓰기와 PhantomJS + Selenium 활용

오늘은 requests로 세션 쓰기와 PhantomJS + Selenium 설치를 공부해보도록 하겠습니다 웹페이지에는 로그인할때는 세션이 필요한데 requests모듈에는 session함수로 세션 생성을 할 수 있습니다. 그 생성된 세션을 가지고 get을 실행 할 수 있습니다 구글을 세션을 이용하여 get 요청을 날려보도록 하겠습니다 결과가 잘 나왔음을 알 수 있습니다 PhantomJS + Selenium 설치를 해보도록 하겠습니다 이번엔 도커 ubuntu:16.04 이미지를 사용하도록 하겠습니다. 그 다음에는 apt update를 실행시켜줍니다 그리고 나서 python3과 python3-pip를 설치하도록 하겠습니다 이제 selenium과 phantomjs를 설치하도록 하겠습니다 이렇게 이미지를 쓰고나서..

2018. 11. 29. 00:38
Language/Python

[MACHINELEARNING]TIL4 네이버 금융과 뉴스 크롤링하기

오늘은 조금 더 발전된 네이버 금융사이트와 뉴스 사이트를 크롤링 하는 법을 공부하도록 하겠습니다 네이버 금융페이지에서 위에 보이는 원달러 환율을 크롤링하려고 검사를 눌러보니 span에 class가 value로 되어있는것을 볼수가 있습니다 따라서 코드를 짜보겠습니다. 이렇게 여러개가 나오는 이유는 원달러 원엔 원유로 등등이 같이 value class로 되어있기 때문입니다. 그래서 원달러 원엔 원유로 환율만 뽑도록 해보겠습니다 잘 나옴을 볼 수가 있습니다. 이제 네이버뉴스에서 오른쪽 아래에 랭킹을 크롤링하고자 검사를 눌러보니 strong 태그에 title class로 제목이 코드로 짜여있는 것을 확인할 수 있습니다. 따라서 코드를 짜보도록 하겠습니다 랭킹 제목이 잘 나옴을 알 수 있습니다. 이제 네이버 IT..

2018. 11. 28. 01:30