Appia의 IT세상

[파이썬 크롤링]CSS Selector 사용하기 실제 이전 블로그 포스팅은 HTML 태그를 중심으로 Find와 Find_all 문을 토대로 관련된 데이터를 크롤링하였습니다. 하지만, 이와 같은 작업들은 생각보다 혼란을 줄 수 있고, 원하는 데이터를 선별하는데에 한계가 있을수 있다는 생각을 하였습니다. 그래서 친한 지인분께서, CSS Selector를 사용할 것을 추천하였습니다. 그래서 이번 포스팅은 CSS Selector를 사용하는 간단한 방법에 대해서 이야기를 해보고자 합니다. 먼저, 해당 태그를 추출하는 방법은 매우 간단합니다. 다음 명령어를 살펴보겠습니다. List타입 = object.select('tag.class#id') 그럼 간단히 위의부분을 바탕으로 다음 예제를 보겠습니다. import re..

[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 엑셀로 추출하기 (종목, 종가) 먼저 앞선, 포스팅에서 코스피, 코스닥 종목에 대해서 종목과 가격에 대해서 출력하는 방법에 대해서 이야기를 해봤습니다. 그래서 이번 포스팅에서는 이와같이 출력하는 데이터를 엑셀로 저장하는 방법에 대해서 이야기를 해보고자 합니다. 이번 포스팅은 Win32com 기반으로 이루어집니다. 따라서, 해당 되는 부분들에 대해서 사용하기 위해서는 다음 링크를 바탕으로 Win32Com을 모듈을 설치해주시길 바랍니다. 파이썬[Python] 014 Pywin32 설치 파이썬[Python] 014 Pywin32 설치 오늘은 pywin32모듈 설치 하는 방법에 대해서 살펴 보겠습니다. 많은 분들이 python을 사용하는 이유 중 하나는..

[파이썬 크롤링]네이버 주식 시가 총액 코스닥전체 항목 출력하기 이전 포스팅에서는 네이버 금융에 있는 정보를 토대로, 코스피 지수 종목들의 항목들을 출력하는 방법에 대해서 포스팅을 해봤습니다. 물론 저의 경우 코스피위주의 투자를 하기 때문에 이와 같은 방식으로 투자 종목들을 선별하는데, 제 글을 보시는 분들중에 코스닥에 있는 종목들에 대해서도 출력하고싶어 하시는 분들이 있을 수 있겠다라는 생각을 해보게 되었습니다. 그래서 이전 포스팅을 바탕으로 약간의 변화를 줘서, 코스닥에 있는 종목들에 대해서 출력하는 포스팅을 해보도록 하겠습니다. 먼저, 이전에서 했던것와 같이 네이버 금융에서 어떤 부분들을 참고해야하는지에 대해서 살펴봤습니다. 이전과 비교해서 사이트 이름에 다음과 같은 부분들이 추가되었습니다. (코스..

[파이썬 크롤링]네이버 주식 시가 총액 코스피전체 항목 출력하기 이전 포스팅에서는 네이버 주식에서 시갈총액의 첫번째 화면에 있는 항목과 가격에 대해서 출력을 하는 방법에 대해서 포스팅을 해봤습니다. 갑자기 이번에는 전체 항목에 대해서 출력을 해볼까라는 생각을 하게되었습니다. 일단, 약간의 규칙성을 찾기 위해서 화면 하단에 있는 부분을 번호로 되어 있는 부분들을 마우스를 올려놓아봤습니다. [1] 부분의 마우스를 올려놓았을 때 화면 좌측에 다음과 같은 링크가 나타났습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 그리고 나서, [맨뒤] 부분에 마우스를 올려놓았을 때는 다음과 같은 링크가 나타나는 것을 확인할 수 있었습니다. https://f..

[파이썬 크롤링]네이버 주식 시가 총액 코스피 50위까지 순위 항목 가격 출력하기(bs4, requests) 크롤링을 하는 이유는 가장 쉽게 인터넷에 있는 취합하는 것이라고 생각합니다. 그 정보를 이용하여 사용자마다 각기 다양한 목적으로 사용할 수 있습니다. 그래서 이번 포스팅에서는 많은 사람들이 사용하는 네이버 금융에 있는 정보를 바탕으로 원하는 정보를 취합하는 형태에 대해서 이야기를 해보고자 합니다. 그 중에서 가장 쉽게 시가 총액 기준으로 표시해주는 부분이 있는데 이 부분에 첫페이지에 있는 정보를 출력해보도록 하겠습니다. 먼저, 다음에 있는 사이트를 클릭해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종..

주피터 노트북[Jupyter Notebook] 시작 폴더 위치 변경하기 주피터 노트북[Jupyter Notebook]을 실행하면 많은 사람들은 시작위치가 윈도우에서 기본 제공되는 사용자하위 폴더에 생성이 되는 것을 알 수 있습니다. 이 부분들에 대해서 그리 크게 문제를 삼지 않는 사람들도 있지만, 경우에 따라서 다른 폴더에서 시작되길 원하는 사람들도 있습니다. 그래서 이번 포스팅에서는 주피터 노트북[Jupyter Notebook]의 시작 폴더의 위치를 변경하는 방법에 대해서 이야기를 해보고자 합니다. 먼저, 윈도우키를 누르시고 나서, Anaconda Powershell Prompt를 실행하여 주시길 바랍니다. 그런 후에 다음과 같은 화면이 나타나는 것을 알 수 있습니다. 이와 같은 화면이 나타난다면 정상..

파이썬[Python] 추출된 카톡 대화에서 사람마다 말한횟수 카운팅 하기 이번 포스팅은 카카오톡의 대화을 분석하는 방법에대해서 이야기를 해보고자 합니다. 게임을 하던지, 아니면 다른 업무를 하던지 카카오톡 단체대화를 많이 사용합니다. 이럴 경우, 카카오톡에서 대화를 추출하여 분석작업을 하곤 합니다. 그래서 이번 포스팅에서는 카카오톡에서 추출된 대화를 바탕으로 사용자마다 몇회 이야기를 했는지에 대해서 분석해보도록 하겠습니다. 먼저 다음 포스팅을 하기 위해서는 카카오톡 대화를 추출하셔야 합니다. 관련해서는 다음 링크에보이는 부분을 참조하여 주시길 바랍니다. [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Window..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목과 링크주소출력하기 (bs4, requests) 이전 포스팅에서는 추천뉴스의 제목을 추출하는 방법에 대해서 포스팅을 했습니다. 그 작업을 하고 포스팅을 하고 나니, 관련된 주소또한 추출해볼까라는 생각을 하였습니다. 그래서 다시 한번 코드 보기를 바탕으로 다음과 같은 화면을 봤습니다. 이전 포스팅에서는 span 태그에 있는 Text 값을 읽어왔는데 보다보니, a 태그의 속성값을 불러오면 되겠다는 생각을 하였습니다. 그래서 일단, a 태그 값을 한번 분석해봤습니다. 여기에서는 제목도 주소도 포함되고 있었습니다. 단, 주소의 경우는 앞에 다음과 같은 주소 https://sports.news.naver.com부분이 이 필요합니다. 그럼 럼 이 부분을 토대..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목 출력하기 (bs4, requests) 요새 한참 웹페이지 크롤링에 대해서 열을 올리고 있습니다. 그중에서, 오늘은 네이버에 특정 부분에 대해서 크롤링 해보는 작업을 해볼까 합니다. 먼저, 다음 보이는 네이버의 추천 뉴스 부분에 대해서 파싱하는 것에 대해서 이번 포스팅을 통해서 이야기를 해볼까 합니다. 그럼 먼저, 위에부분을 파싱하기 전에 어떤 부분에 관련된 내용이 쓰여져 있는지에 대해서 HTML 소스 코드 보기로 확인해보겠습니다. 다음 링크를 통해서 HTML 소스 코드를 살펴보겠습니다. [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하기 [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하..

주피터 노트북[Jupyter Notebook]마크다운(Mark Down)사용하기 어느 시점부터 마크다운(MarkDown)에 대해서 사용폭이 매우 넓어졌습니다. 실제 저의 경우에는 자주 사용하지 않지만, 코드 및 모듈등을 새로 작성해야할 때, 관련된 기능에 대한 설명등에 대해서 마크다운을 사용하여 입력하곤 합니다. 물론, 예전에도 이와 같은 부분에 대해서 주석으로 관련된 부분들을 입력하였습니다. 하지만, Github의 덕인지 몰라도, 이 부분에 대해서 매우 강조되고 있습니다. 그래서 이번 포스팅에서는 주피터 노트북에서 관련된 마크다운을 사용하는 방법에 대해서 이야기를 해보고자 합니다. 먼저 새로 시작하면 다음과 같은 화면이 나타날 것입니다. 그럼 다음에서 보이는 "Code"부분을 클릭하여 주시길 바랍니다...