Appia의 IT세상

파이썬[Python] MySQL을 사용하기 위한 Pymysql 모듈 설치하기 저의 카테고리중에 MySQL에 대해서 포스팅을 하고 있습니다. 실제 이 부분을 파이썬에서 활용하기 위해서는 관련된 파이썬[Python]모듈을 활용해야 합니다. 그래서 이번 포스팅에서는 MySQL을 사용하기 위한 Pymysql 모듈 설치하는 방법에 대해서 이야기를 해보고자 합니다. 실제, MySQL관련된 카테고리는 다음과 같이 있습니다. 따라서, MySQL이 처음이라면 다음 부분을 참조하시길 바랍니다. https://appia.tistory.com/category/Development/MySQL 'Development/MySQL' 카테고리의 글 목록 Smart Phone에 대한 팁, 가이드, 뉴스등에 대해서 !! appia.tis..

파이썬[Python] 원하는 텍스트의 네이버 통합 검색 결과 제목 출력하기 이번 포스팅은 웹 크롤링을 하면서, 한번쯤 해볼만한 네이버 검색 결과에 대해서 추출하는 방법에 대해서 간단히 이야기를 해볼까 합니다. 먼저, "테스트"라는 단어를 바탕으로 진행을 해볼까 합니다. 먼저, 검색에 대한 결과를 활용하기 위해서, 검색이 입력되어 있을 경우, 관련해서 웹페이지 주소의 변화를 살펴봤습니다. 그리고 페이지 하단 쪽으로 들어가서, 페이지를 변경하면서 웹페이지 주소의 변화를 살펴봤습니다. 그랬더니, 다음과 같은 약간의 규칙성을 찾을 수 있었습니다. 즉, 앞 부분에서는 검색 결과의 페이지, 그리고 파란색 부분은 "테스트"라는 단어, 그리고 마지막 보이는 부분은 검색 결과물의 객체 시작 번호입니다. 이 부분을 바탕으..

파이썬[Python] 뷰티풀수프, Beautiful Soup을 이용한 xml 읽기 실제 뷰티풀수프(Beautiful Soup)을 이용하여 웹크롤링을 하는 경우는 매우 많습니다. 저 또한 웹크롤링을 할 때 뷰티풀수프(Beautiful Soup)를 사용하는 경우가 매우 많았습니다. 하지만, 이 부분을 웹 크롤링이 아닌 경우에도 사용이 가능합니다. 그래서 이번 포스팅에서는 XML을 파싱할 때 이 부분에 대해서 사용을 해보고자 합니다. 먼저, 이번 포스팅을 파이썬 기반으로 뷰티풀수프(Beautiful Soup)가 설치 되어 있다는 전제로 이루어집니다. 혹 설치가 되어 있지 않으시다면, 다음 포스팅을 참조하셔서 설치 해주시길 바랍니다. Python[파이썬 웹크롤러] 04-WebCrawler beautifulsou..

파이썬[Python] xml 파싱을 위한 lxml 모듈 설치 업무를 하다보면, 다양한 이유에서 xml에 대한 작업을 하게 됩니다. 실제 저의 경우 사이즈가 큰 xml을 가지고 작업을 하는 경우가 매우 많습니다. 따라서, 이번 포스팅은 beautifulsoup4으로 xml을 읽기 위해서 parser할 때, 필요로 하는 lxml모듈에 대해서 이야기를 해보고자 합니다. 먼저, lxml 모듈을 설치하기 위해서 다음과 같이 2가지 방법을 기반으로 설명을 드리고자 합니다. 1) Command 프롬프트 기반에서 설치하는 방법 2) Python IDE(Pycharm)기반에서 메뉴를 통한 설치 방법 1) Command 프롬프트 기반에서 설치하는 방법 다음 명령 프롬프트에서 설치하는 방법은 다음 명령어를 입력해주시는 것입..

[파이썬 크롤링] 네이버 금융 환전고시 환율 정보 출력하는 방법 이번 포스팅은 네이버금융에서 제공하는 환전 고시 환율을 추출하는 방법에 대해서 이야기를 해보고자 합니다. 먼저, 추출하고자 하는 페이지의 정보를 보니, 다음 부분입니다. https://finance.naver.com/marketindex/?tabSel=exchange#tab_section https://finance.naver.com/marketindex/?tabSel=exchange#tab_section 환전 고시 환율 2021.10.01 20:03 하나은행 기준 고시회차 289회 finance.naver.com 위에 페이지를 열어서, 밑으로 크롤링 하면 다음과 같은 화면이 나타납니다. 제가 추출하고 출력하고자 하는 부분은 빨간색 부분으로..

[파이썬 크롤링] Beautiful Soup에서 #document 부분에 대해서 크롤링 하는 방법 최근 제가 겪은 일을 해결하는 과정에 대해서 이야기를 해보고자 합니다. 먼저, 저의 경우 네이버 금융의 환율 테이블을 추출하고자 하였습니다. 하지만, CSS selector나 다양한 방법으로 크롤링 해볼려고 하였으나, 관련해서 크롤링 할 수가 없었습니다. 그래서 자세히 봐보니, 화면에 파싱 못하는 부분이 "#document"부분이 포함된 부분이었습니다. 하지만, 이 부분을 자세히 보니, 태그 안에 존재하는 것이었습니다. 이 부분을 보다 자세하게 살펴보니, "src"라는 속성을 볼 수 있었습니다. 그래서 이 부분을 바탕으로 다른 부분과 연결되어 있는 것은 아닐까라는 생각을 하게 되었습니다. 그래서 src 부분..

[파이썬 크롤링]CSS Selector 사용하기 실제 이전 블로그 포스팅은 HTML 태그를 중심으로 Find와 Find_all 문을 토대로 관련된 데이터를 크롤링하였습니다. 하지만, 이와 같은 작업들은 생각보다 혼란을 줄 수 있고, 원하는 데이터를 선별하는데에 한계가 있을수 있다는 생각을 하였습니다. 그래서 친한 지인분께서, CSS Selector를 사용할 것을 추천하였습니다. 그래서 이번 포스팅은 CSS Selector를 사용하는 간단한 방법에 대해서 이야기를 해보고자 합니다. 먼저, 해당 태그를 추출하는 방법은 매우 간단합니다. 다음 명령어를 살펴보겠습니다. List타입 = object.select('tag.class#id') 그럼 간단히 위의부분을 바탕으로 다음 예제를 보겠습니다. import re..

[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 엑셀로 추출하기 (종목, 종가) 먼저 앞선, 포스팅에서 코스피, 코스닥 종목에 대해서 종목과 가격에 대해서 출력하는 방법에 대해서 이야기를 해봤습니다. 그래서 이번 포스팅에서는 이와같이 출력하는 데이터를 엑셀로 저장하는 방법에 대해서 이야기를 해보고자 합니다. 이번 포스팅은 Win32com 기반으로 이루어집니다. 따라서, 해당 되는 부분들에 대해서 사용하기 위해서는 다음 링크를 바탕으로 Win32Com을 모듈을 설치해주시길 바랍니다. 파이썬[Python] 014 Pywin32 설치 파이썬[Python] 014 Pywin32 설치 오늘은 pywin32모듈 설치 하는 방법에 대해서 살펴 보겠습니다. 많은 분들이 python을 사용하는 이유 중 하나는..

[파이썬 크롤링]네이버 주식 시가 총액 코스닥전체 항목 출력하기 이전 포스팅에서는 네이버 금융에 있는 정보를 토대로, 코스피 지수 종목들의 항목들을 출력하는 방법에 대해서 포스팅을 해봤습니다. 물론 저의 경우 코스피위주의 투자를 하기 때문에 이와 같은 방식으로 투자 종목들을 선별하는데, 제 글을 보시는 분들중에 코스닥에 있는 종목들에 대해서도 출력하고싶어 하시는 분들이 있을 수 있겠다라는 생각을 해보게 되었습니다. 그래서 이전 포스팅을 바탕으로 약간의 변화를 줘서, 코스닥에 있는 종목들에 대해서 출력하는 포스팅을 해보도록 하겠습니다. 먼저, 이전에서 했던것와 같이 네이버 금융에서 어떤 부분들을 참고해야하는지에 대해서 살펴봤습니다. 이전과 비교해서 사이트 이름에 다음과 같은 부분들이 추가되었습니다. (코스..

[파이썬 크롤링]네이버 주식 시가 총액 코스피전체 항목 출력하기 이전 포스팅에서는 네이버 주식에서 시갈총액의 첫번째 화면에 있는 항목과 가격에 대해서 출력을 하는 방법에 대해서 포스팅을 해봤습니다. 갑자기 이번에는 전체 항목에 대해서 출력을 해볼까라는 생각을 하게되었습니다. 일단, 약간의 규칙성을 찾기 위해서 화면 하단에 있는 부분을 번호로 되어 있는 부분들을 마우스를 올려놓아봤습니다. [1] 부분의 마우스를 올려놓았을 때 화면 좌측에 다음과 같은 링크가 나타났습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 그리고 나서, [맨뒤] 부분에 마우스를 올려놓았을 때는 다음과 같은 링크가 나타나는 것을 확인할 수 있었습니다. https://f..