Appia의 IT세상

파이썬[Python] selenium을 이용한 크롬(Chrome)버전확인하기 파이썬 selenium을 이용하여 다양한 작업을 할 수 있습니다. 대부분은 웹 브라우저를 동적으로 제어하거나, 원하는 정보를 크롤링 하는데 사용합니다. 이번 포스팅에서는 이러한 부분을 사용하기에 앞서서, 크롬 버전을 확인하는 방법에 대해서 확인을하고자합니다. 먼저, 이번 포스팅을 진행하기에 앞서서, selenium 모듈이 존재해야합니다. 따라서, 현재 자신의 PC에 selenium이 존재하지 않는다면, 다음 하기 링크를 이용하여, selenium을 설치하시길 바랍니다. 파이썬[Python] 고급 크롤링을 위한 selenium 모듈 설치하기 파이썬[Python] 고급 크롤링을 위한 selenium 모듈 설치하기 파이썬[Python..

파이썬[Python] 주식시장 거래정지 항목 크롤링하기 주식시장을 확인하다보면, 생각보다 거래 정지가 되어 있는 항목들을 많이 확인할 수 있습니다. 그래서 이번 포스팅에서는 거래 정지 항목이 무엇인지에 대해서 크롤링해보는 포스팅을 해보고자 합니다. 먼저, 네이버에 있는 거래 정지 항목이 무엇인지에 대해서 확인하기 위해서는 다음 링크에 있는 부분을 통해서 확인할 수 있습니다. https://finance.naver.com/sise/trading_halt.naver 거래정지 종목 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 위의 링크를 클릭하면 다음과 같은 화면이 나타날 것입니다. 여기에서 개발자 도구를 이용하여 해당 항목이 어떻게 지칭 되는지에 대해서 ..

파이썬[Python] 주식시장 휴장일 정보 크롤링하기(증권 거래소) 이번에는 주식 관련된 공부를 하면서, 휴장일에 대해서 사전에 확인할 수 있다면 얼마나 좋을까라는 생각을 해봤습니다. 그래서 관련된 정보를 찾다보니, 생각보다 많았습니다. 저 또한 관련된 포스팅을 제 블로그에 포스팅을 한적이 있습니다. 주식시장 휴장일 확인하는 방법 주식시장 휴장일 확인하는 방법 주식시장 휴장일 확인하는 방법 몇년 전부터 주식 시장에 대한 열기가 매우 뜨거운 것이 사실입니다. 그래서, 많은 사람들은 주식을 투자하고, 때론 수익이 나기도 하고 손해가 나기도 합니다 appia.tistory.com 그래서 이번에는 관련해서 크롤링을 해볼까 합니다. 실제 이 부분을 적용하는데, 약간의 문제사항이 있었습니다. 처음에는 뷰티풀숩(be..

[파이썬 크롤링]매경, 매일경제 조회수 상위종목 출력하기 주식을 하는 분들은 각기 자주가는 사이트가 다 다를 것입니다. 저의 경우, 다음에 보이는 부분, 매일 경제 증권 센터에서의 인기 종목들을 잘 검토해 보는 편입니다. https://vip.mk.co.kr/newSt/rate/best.php?gubn=kospi 오늘의 증권시세 - 매일경제 증권센터 순위 종목코드 종목명 조회수 현재가 등락률 거래량 1 005930 삼성전자 5,513 70,200 0.14 13,459,640 2 005935 삼성전자우 1,839 64,100 -0.62 1,400,668 3 034020 두산중공업 473 23,100 -1.49 13,125,088 4 006400 삼성SDI 400 705,0 vip.mk.co.kr 그래서 이..

[파이썬 크롤링]네이버 뉴스 검색결과 출력하기 이전 크롤링은 주식 및 검색 결과에 대해서 해봤다면, 이번에는 뉴스 항목에 대해서 크롤링을 해보고자 합니다. 실제, 우리는 많은 검색어를 네이버를 통해서 검색을 합니다. 이와 같이 검색을 하면, 다음과 같은 다양한 화면중에 뉴스 화면이 나타나기도 합니다. 우리는 여기에서 원하는 부분을 검색하기도 하고, 아니면 제목 부분만 참조하기도 합니다. 그래서 관련해서 제목 부분만 출력해도록 하겠습니다. 일단, 요새 핫한 주제인 "부동산"으로 관련된 뉴스를 검색해 보겠습니다. 그럼 이 부분에 대해서 실제 다른 페이지와의 통일성을 찾아보도록 하겠습니다. 다음 보이는 부분이 "부동산"부분입니다. 그리고 각 페이지에 따라서, start 부분이 달라지는 것을 알 수 있었습니다...

[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 주식번호 확인하기 이전 포스팅에서는 네이버 시가 총액을 바탕으로, 종목 이름과 종가를 확인하는 방법에 대해서 포스팅을 했습니다. 하지만, 이 부분들에 대해서 Html을 자세히 보다보니, 관련해서 각 종목의 주식 번호가 있다는 것을 확인할 수 있었습니다. 그래서 이번 포스팅에서는 이 부분을 바탕으로 주식 종목의 주식 번호을 추출하는 방법에 대해서 이야기를 해보도록 하겠습니다. 먼저, 다음 링크를 바탕으로 관련된 항목을 진행해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 여기에..

파이썬[Python] 원하는 텍스트의 네이버 통합 검색 결과 제목 출력하기 이번 포스팅은 웹 크롤링을 하면서, 한번쯤 해볼만한 네이버 검색 결과에 대해서 추출하는 방법에 대해서 간단히 이야기를 해볼까 합니다. 먼저, "테스트"라는 단어를 바탕으로 진행을 해볼까 합니다. 먼저, 검색에 대한 결과를 활용하기 위해서, 검색이 입력되어 있을 경우, 관련해서 웹페이지 주소의 변화를 살펴봤습니다. 그리고 페이지 하단 쪽으로 들어가서, 페이지를 변경하면서 웹페이지 주소의 변화를 살펴봤습니다. 그랬더니, 다음과 같은 약간의 규칙성을 찾을 수 있었습니다. 즉, 앞 부분에서는 검색 결과의 페이지, 그리고 파란색 부분은 "테스트"라는 단어, 그리고 마지막 보이는 부분은 검색 결과물의 객체 시작 번호입니다. 이 부분을 바탕으..

[파이썬 크롤링] 네이버 금융 환전고시 환율 정보 출력하는 방법 이번 포스팅은 네이버금융에서 제공하는 환전 고시 환율을 추출하는 방법에 대해서 이야기를 해보고자 합니다. 먼저, 추출하고자 하는 페이지의 정보를 보니, 다음 부분입니다. https://finance.naver.com/marketindex/?tabSel=exchange#tab_section https://finance.naver.com/marketindex/?tabSel=exchange#tab_section 환전 고시 환율 2021.10.01 20:03 하나은행 기준 고시회차 289회 finance.naver.com 위에 페이지를 열어서, 밑으로 크롤링 하면 다음과 같은 화면이 나타납니다. 제가 추출하고 출력하고자 하는 부분은 빨간색 부분으로..

[파이썬 크롤링] Beautiful Soup에서 #document 부분에 대해서 크롤링 하는 방법 최근 제가 겪은 일을 해결하는 과정에 대해서 이야기를 해보고자 합니다. 먼저, 저의 경우 네이버 금융의 환율 테이블을 추출하고자 하였습니다. 하지만, CSS selector나 다양한 방법으로 크롤링 해볼려고 하였으나, 관련해서 크롤링 할 수가 없었습니다. 그래서 자세히 봐보니, 화면에 파싱 못하는 부분이 "#document"부분이 포함된 부분이었습니다. 하지만, 이 부분을 자세히 보니, 태그 안에 존재하는 것이었습니다. 이 부분을 보다 자세하게 살펴보니, "src"라는 속성을 볼 수 있었습니다. 그래서 이 부분을 바탕으로 다른 부분과 연결되어 있는 것은 아닐까라는 생각을 하게 되었습니다. 그래서 src 부분..

[파이썬 크롤링]CSS Selector 사용하기 실제 이전 블로그 포스팅은 HTML 태그를 중심으로 Find와 Find_all 문을 토대로 관련된 데이터를 크롤링하였습니다. 하지만, 이와 같은 작업들은 생각보다 혼란을 줄 수 있고, 원하는 데이터를 선별하는데에 한계가 있을수 있다는 생각을 하였습니다. 그래서 친한 지인분께서, CSS Selector를 사용할 것을 추천하였습니다. 그래서 이번 포스팅은 CSS Selector를 사용하는 간단한 방법에 대해서 이야기를 해보고자 합니다. 먼저, 해당 태그를 추출하는 방법은 매우 간단합니다. 다음 명령어를 살펴보겠습니다. List타입 = object.select('tag.class#id') 그럼 간단히 위의부분을 바탕으로 다음 예제를 보겠습니다. import re..