Appia의 IT세상

파이썬[Python] 고급 크롤링을 위한 selenium 모듈 설치하기 먼저 크롤링 관련된 이야기를 하면서 뷰티풀 수프, Beautiful Soup을 이용하는 부분에 대해서 이야기를 해봤습니다. 그리고 그 부분을 통해서 많지는 않지만 필요한 부분에 대해서 포스팅을 했고, 또 앞으로도 관련된 포스팅을 진행해보고자 합니다. 하지만, 관련해서 블로그를 진행하면 할수록, 약간의 부족함을 느꼈습니다. 특정 버튼을 클릭후에 나오는 데이터를 바탕으로 진행한다던지, 아니면 특정 부분에 대한 로그인을 진행하고 나서 특정 정보를 크롤링 해야하는 경우가 비일비재하였습니다. 그래서 이와 같은 문제의 해결하기 위해서 selenium모듈과 WebDriver(Chrome)에 대해서 설치하는 방법에 대해서이야기를 해보고자 합니다. ..

[파이썬 크롤링]매경, 매일경제 조회수 상위종목 출력하기 주식을 하는 분들은 각기 자주가는 사이트가 다 다를 것입니다. 저의 경우, 다음에 보이는 부분, 매일 경제 증권 센터에서의 인기 종목들을 잘 검토해 보는 편입니다. https://vip.mk.co.kr/newSt/rate/best.php?gubn=kospi 오늘의 증권시세 - 매일경제 증권센터 순위 종목코드 종목명 조회수 현재가 등락률 거래량 1 005930 삼성전자 5,513 70,200 0.14 13,459,640 2 005935 삼성전자우 1,839 64,100 -0.62 1,400,668 3 034020 두산중공업 473 23,100 -1.49 13,125,088 4 006400 삼성SDI 400 705,0 vip.mk.co.kr 그래서 이..

[파이썬 크롤링]네이버 뉴스 검색결과 출력하기 이전 크롤링은 주식 및 검색 결과에 대해서 해봤다면, 이번에는 뉴스 항목에 대해서 크롤링을 해보고자 합니다. 실제, 우리는 많은 검색어를 네이버를 통해서 검색을 합니다. 이와 같이 검색을 하면, 다음과 같은 다양한 화면중에 뉴스 화면이 나타나기도 합니다. 우리는 여기에서 원하는 부분을 검색하기도 하고, 아니면 제목 부분만 참조하기도 합니다. 그래서 관련해서 제목 부분만 출력해도록 하겠습니다. 일단, 요새 핫한 주제인 "부동산"으로 관련된 뉴스를 검색해 보겠습니다. 그럼 이 부분에 대해서 실제 다른 페이지와의 통일성을 찾아보도록 하겠습니다. 다음 보이는 부분이 "부동산"부분입니다. 그리고 각 페이지에 따라서, start 부분이 달라지는 것을 알 수 있었습니다...

[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 주식번호 확인하기 이전 포스팅에서는 네이버 시가 총액을 바탕으로, 종목 이름과 종가를 확인하는 방법에 대해서 포스팅을 했습니다. 하지만, 이 부분들에 대해서 Html을 자세히 보다보니, 관련해서 각 종목의 주식 번호가 있다는 것을 확인할 수 있었습니다. 그래서 이번 포스팅에서는 이 부분을 바탕으로 주식 종목의 주식 번호을 추출하는 방법에 대해서 이야기를 해보도록 하겠습니다. 먼저, 다음 링크를 바탕으로 관련된 항목을 진행해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 여기에..

파이썬[Python] MySQL을 사용하기 위한 Pymysql 모듈 설치하기 저의 카테고리중에 MySQL에 대해서 포스팅을 하고 있습니다. 실제 이 부분을 파이썬에서 활용하기 위해서는 관련된 파이썬[Python]모듈을 활용해야 합니다. 그래서 이번 포스팅에서는 MySQL을 사용하기 위한 Pymysql 모듈 설치하는 방법에 대해서 이야기를 해보고자 합니다. 실제, MySQL관련된 카테고리는 다음과 같이 있습니다. 따라서, MySQL이 처음이라면 다음 부분을 참조하시길 바랍니다. https://appia.tistory.com/category/Development/MySQL 'Development/MySQL' 카테고리의 글 목록 Smart Phone에 대한 팁, 가이드, 뉴스등에 대해서 !! appia.tis..

파이썬[Python] 원하는 텍스트의 네이버 통합 검색 결과 제목 출력하기 이번 포스팅은 웹 크롤링을 하면서, 한번쯤 해볼만한 네이버 검색 결과에 대해서 추출하는 방법에 대해서 간단히 이야기를 해볼까 합니다. 먼저, "테스트"라는 단어를 바탕으로 진행을 해볼까 합니다. 먼저, 검색에 대한 결과를 활용하기 위해서, 검색이 입력되어 있을 경우, 관련해서 웹페이지 주소의 변화를 살펴봤습니다. 그리고 페이지 하단 쪽으로 들어가서, 페이지를 변경하면서 웹페이지 주소의 변화를 살펴봤습니다. 그랬더니, 다음과 같은 약간의 규칙성을 찾을 수 있었습니다. 즉, 앞 부분에서는 검색 결과의 페이지, 그리고 파란색 부분은 "테스트"라는 단어, 그리고 마지막 보이는 부분은 검색 결과물의 객체 시작 번호입니다. 이 부분을 바탕으..

파이썬[Python] 뷰티풀수프, Beautiful Soup을 이용한 xml 읽기 실제 뷰티풀수프(Beautiful Soup)을 이용하여 웹크롤링을 하는 경우는 매우 많습니다. 저 또한 웹크롤링을 할 때 뷰티풀수프(Beautiful Soup)를 사용하는 경우가 매우 많았습니다. 하지만, 이 부분을 웹 크롤링이 아닌 경우에도 사용이 가능합니다. 그래서 이번 포스팅에서는 XML을 파싱할 때 이 부분에 대해서 사용을 해보고자 합니다. 먼저, 이번 포스팅을 파이썬 기반으로 뷰티풀수프(Beautiful Soup)가 설치 되어 있다는 전제로 이루어집니다. 혹 설치가 되어 있지 않으시다면, 다음 포스팅을 참조하셔서 설치 해주시길 바랍니다. Python[파이썬 웹크롤러] 04-WebCrawler beautifulsou..

파이썬[Python] xml 파싱을 위한 lxml 모듈 설치 업무를 하다보면, 다양한 이유에서 xml에 대한 작업을 하게 됩니다. 실제 저의 경우 사이즈가 큰 xml을 가지고 작업을 하는 경우가 매우 많습니다. 따라서, 이번 포스팅은 beautifulsoup4으로 xml을 읽기 위해서 parser할 때, 필요로 하는 lxml모듈에 대해서 이야기를 해보고자 합니다. 먼저, lxml 모듈을 설치하기 위해서 다음과 같이 2가지 방법을 기반으로 설명을 드리고자 합니다. 1) Command 프롬프트 기반에서 설치하는 방법 2) Python IDE(Pycharm)기반에서 메뉴를 통한 설치 방법 1) Command 프롬프트 기반에서 설치하는 방법 다음 명령 프롬프트에서 설치하는 방법은 다음 명령어를 입력해주시는 것입..

[파이썬 크롤링] 네이버 금융 환전고시 환율 정보 출력하는 방법 이번 포스팅은 네이버금융에서 제공하는 환전 고시 환율을 추출하는 방법에 대해서 이야기를 해보고자 합니다. 먼저, 추출하고자 하는 페이지의 정보를 보니, 다음 부분입니다. https://finance.naver.com/marketindex/?tabSel=exchange#tab_section https://finance.naver.com/marketindex/?tabSel=exchange#tab_section 환전 고시 환율 2021.10.01 20:03 하나은행 기준 고시회차 289회 finance.naver.com 위에 페이지를 열어서, 밑으로 크롤링 하면 다음과 같은 화면이 나타납니다. 제가 추출하고 출력하고자 하는 부분은 빨간색 부분으로..

[파이썬 크롤링] Beautiful Soup에서 #document 부분에 대해서 크롤링 하는 방법 최근 제가 겪은 일을 해결하는 과정에 대해서 이야기를 해보고자 합니다. 먼저, 저의 경우 네이버 금융의 환율 테이블을 추출하고자 하였습니다. 하지만, CSS selector나 다양한 방법으로 크롤링 해볼려고 하였으나, 관련해서 크롤링 할 수가 없었습니다. 그래서 자세히 봐보니, 화면에 파싱 못하는 부분이 "#document"부분이 포함된 부분이었습니다. 하지만, 이 부분을 자세히 보니, 태그 안에 존재하는 것이었습니다. 이 부분을 보다 자세하게 살펴보니, "src"라는 속성을 볼 수 있었습니다. 그래서 이 부분을 바탕으로 다른 부분과 연결되어 있는 것은 아닐까라는 생각을 하게 되었습니다. 그래서 src 부분..