Appia의 IT세상

[파이썬 크롤링] 네이버 금융 환전고시 환율 정보 출력하는 방법 이번 포스팅은 네이버금융에서 제공하는 환전 고시 환율을 추출하는 방법에 대해서 이야기를 해보고자 합니다. 먼저, 추출하고자 하는 페이지의 정보를 보니, 다음 부분입니다. https://finance.naver.com/marketindex/?tabSel=exchange#tab_section https://finance.naver.com/marketindex/?tabSel=exchange#tab_section 환전 고시 환율 2021.10.01 20:03 하나은행 기준 고시회차 289회 finance.naver.com 위에 페이지를 열어서, 밑으로 크롤링 하면 다음과 같은 화면이 나타납니다. 제가 추출하고 출력하고자 하는 부분은 빨간색 부분으로..

[파이썬 크롤링] Beautiful Soup에서 #document 부분에 대해서 크롤링 하는 방법 최근 제가 겪은 일을 해결하는 과정에 대해서 이야기를 해보고자 합니다. 먼저, 저의 경우 네이버 금융의 환율 테이블을 추출하고자 하였습니다. 하지만, CSS selector나 다양한 방법으로 크롤링 해볼려고 하였으나, 관련해서 크롤링 할 수가 없었습니다. 그래서 자세히 봐보니, 화면에 파싱 못하는 부분이 "#document"부분이 포함된 부분이었습니다. 하지만, 이 부분을 자세히 보니, 태그 안에 존재하는 것이었습니다. 이 부분을 보다 자세하게 살펴보니, "src"라는 속성을 볼 수 있었습니다. 그래서 이 부분을 바탕으로 다른 부분과 연결되어 있는 것은 아닐까라는 생각을 하게 되었습니다. 그래서 src 부분..

[파이썬 크롤링]CSS Selector 사용하기 실제 이전 블로그 포스팅은 HTML 태그를 중심으로 Find와 Find_all 문을 토대로 관련된 데이터를 크롤링하였습니다. 하지만, 이와 같은 작업들은 생각보다 혼란을 줄 수 있고, 원하는 데이터를 선별하는데에 한계가 있을수 있다는 생각을 하였습니다. 그래서 친한 지인분께서, CSS Selector를 사용할 것을 추천하였습니다. 그래서 이번 포스팅은 CSS Selector를 사용하는 간단한 방법에 대해서 이야기를 해보고자 합니다. 먼저, 해당 태그를 추출하는 방법은 매우 간단합니다. 다음 명령어를 살펴보겠습니다. List타입 = object.select('tag.class#id') 그럼 간단히 위의부분을 바탕으로 다음 예제를 보겠습니다. import re..

[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 엑셀로 추출하기 (종목, 종가) 먼저 앞선, 포스팅에서 코스피, 코스닥 종목에 대해서 종목과 가격에 대해서 출력하는 방법에 대해서 이야기를 해봤습니다. 그래서 이번 포스팅에서는 이와같이 출력하는 데이터를 엑셀로 저장하는 방법에 대해서 이야기를 해보고자 합니다. 이번 포스팅은 Win32com 기반으로 이루어집니다. 따라서, 해당 되는 부분들에 대해서 사용하기 위해서는 다음 링크를 바탕으로 Win32Com을 모듈을 설치해주시길 바랍니다. 파이썬[Python] 014 Pywin32 설치 파이썬[Python] 014 Pywin32 설치 오늘은 pywin32모듈 설치 하는 방법에 대해서 살펴 보겠습니다. 많은 분들이 python을 사용하는 이유 중 하나는..

[파이썬 크롤링]네이버 주식 시가 총액 코스피전체 항목 출력하기 이전 포스팅에서는 네이버 주식에서 시갈총액의 첫번째 화면에 있는 항목과 가격에 대해서 출력을 하는 방법에 대해서 포스팅을 해봤습니다. 갑자기 이번에는 전체 항목에 대해서 출력을 해볼까라는 생각을 하게되었습니다. 일단, 약간의 규칙성을 찾기 위해서 화면 하단에 있는 부분을 번호로 되어 있는 부분들을 마우스를 올려놓아봤습니다. [1] 부분의 마우스를 올려놓았을 때 화면 좌측에 다음과 같은 링크가 나타났습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 그리고 나서, [맨뒤] 부분에 마우스를 올려놓았을 때는 다음과 같은 링크가 나타나는 것을 확인할 수 있었습니다. https://f..

[파이썬 크롤링]네이버 주식 시가 총액 코스피 50위까지 순위 항목 가격 출력하기(bs4, requests) 크롤링을 하는 이유는 가장 쉽게 인터넷에 있는 취합하는 것이라고 생각합니다. 그 정보를 이용하여 사용자마다 각기 다양한 목적으로 사용할 수 있습니다. 그래서 이번 포스팅에서는 많은 사람들이 사용하는 네이버 금융에 있는 정보를 바탕으로 원하는 정보를 취합하는 형태에 대해서 이야기를 해보고자 합니다. 그 중에서 가장 쉽게 시가 총액 기준으로 표시해주는 부분이 있는데 이 부분에 첫페이지에 있는 정보를 출력해보도록 하겠습니다. 먼저, 다음에 있는 사이트를 클릭해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종..

파이썬[Python] 추출된 카톡 대화에서 사람마다 말한횟수 카운팅 하기 이번 포스팅은 카카오톡의 대화을 분석하는 방법에대해서 이야기를 해보고자 합니다. 게임을 하던지, 아니면 다른 업무를 하던지 카카오톡 단체대화를 많이 사용합니다. 이럴 경우, 카카오톡에서 대화를 추출하여 분석작업을 하곤 합니다. 그래서 이번 포스팅에서는 카카오톡에서 추출된 대화를 바탕으로 사용자마다 몇회 이야기를 했는지에 대해서 분석해보도록 하겠습니다. 먼저 다음 포스팅을 하기 위해서는 카카오톡 대화를 추출하셔야 합니다. 관련해서는 다음 링크에보이는 부분을 참조하여 주시길 바랍니다. [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Window..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목과 링크주소출력하기 (bs4, requests) 이전 포스팅에서는 추천뉴스의 제목을 추출하는 방법에 대해서 포스팅을 했습니다. 그 작업을 하고 포스팅을 하고 나니, 관련된 주소또한 추출해볼까라는 생각을 하였습니다. 그래서 다시 한번 코드 보기를 바탕으로 다음과 같은 화면을 봤습니다. 이전 포스팅에서는 span 태그에 있는 Text 값을 읽어왔는데 보다보니, a 태그의 속성값을 불러오면 되겠다는 생각을 하였습니다. 그래서 일단, a 태그 값을 한번 분석해봤습니다. 여기에서는 제목도 주소도 포함되고 있었습니다. 단, 주소의 경우는 앞에 다음과 같은 주소 https://sports.news.naver.com부분이 이 필요합니다. 그럼 럼 이 부분을 토대..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목 출력하기 (bs4, requests) 요새 한참 웹페이지 크롤링에 대해서 열을 올리고 있습니다. 그중에서, 오늘은 네이버에 특정 부분에 대해서 크롤링 해보는 작업을 해볼까 합니다. 먼저, 다음 보이는 네이버의 추천 뉴스 부분에 대해서 파싱하는 것에 대해서 이번 포스팅을 통해서 이야기를 해볼까 합니다. 그럼 먼저, 위에부분을 파싱하기 전에 어떤 부분에 관련된 내용이 쓰여져 있는지에 대해서 HTML 소스 코드 보기로 확인해보겠습니다. 다음 링크를 통해서 HTML 소스 코드를 살펴보겠습니다. [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하기 [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하..

주피터 노트북[Jupyter Notebook]마크다운(Mark Down)사용하기 어느 시점부터 마크다운(MarkDown)에 대해서 사용폭이 매우 넓어졌습니다. 실제 저의 경우에는 자주 사용하지 않지만, 코드 및 모듈등을 새로 작성해야할 때, 관련된 기능에 대한 설명등에 대해서 마크다운을 사용하여 입력하곤 합니다. 물론, 예전에도 이와 같은 부분에 대해서 주석으로 관련된 부분들을 입력하였습니다. 하지만, Github의 덕인지 몰라도, 이 부분에 대해서 매우 강조되고 있습니다. 그래서 이번 포스팅에서는 주피터 노트북에서 관련된 마크다운을 사용하는 방법에 대해서 이야기를 해보고자 합니다. 먼저 새로 시작하면 다음과 같은 화면이 나타날 것입니다. 그럼 다음에서 보이는 "Code"부분을 클릭하여 주시길 바랍니다...