Appia의 IT세상

[파이썬 크롤링]CSS Selector 사용하기 실제 이전 블로그 포스팅은 HTML 태그를 중심으로 Find와 Find_all 문을 토대로 관련된 데이터를 크롤링하였습니다. 하지만, 이와 같은 작업들은 생각보다 혼란을 줄 수 있고, 원하는 데이터를 선별하는데에 한계가 있을수 있다는 생각을 하였습니다. 그래서 친한 지인분께서, CSS Selector를 사용할 것을 추천하였습니다. 그래서 이번 포스팅은 CSS Selector를 사용하는 간단한 방법에 대해서 이야기를 해보고자 합니다. 먼저, 해당 태그를 추출하는 방법은 매우 간단합니다. 다음 명령어를 살펴보겠습니다. List타입 = object.select('tag.class#id') 그럼 간단히 위의부분을 바탕으로 다음 예제를 보겠습니다. import re..

[파이썬 크롤링]네이버 주식 시가 총액 코스닥전체 항목 출력하기 이전 포스팅에서는 네이버 금융에 있는 정보를 토대로, 코스피 지수 종목들의 항목들을 출력하는 방법에 대해서 포스팅을 해봤습니다. 물론 저의 경우 코스피위주의 투자를 하기 때문에 이와 같은 방식으로 투자 종목들을 선별하는데, 제 글을 보시는 분들중에 코스닥에 있는 종목들에 대해서도 출력하고싶어 하시는 분들이 있을 수 있겠다라는 생각을 해보게 되었습니다. 그래서 이전 포스팅을 바탕으로 약간의 변화를 줘서, 코스닥에 있는 종목들에 대해서 출력하는 포스팅을 해보도록 하겠습니다. 먼저, 이전에서 했던것와 같이 네이버 금융에서 어떤 부분들을 참고해야하는지에 대해서 살펴봤습니다. 이전과 비교해서 사이트 이름에 다음과 같은 부분들이 추가되었습니다. (코스..

[파이썬 크롤링]네이버 주식 시가 총액 코스피전체 항목 출력하기 이전 포스팅에서는 네이버 주식에서 시갈총액의 첫번째 화면에 있는 항목과 가격에 대해서 출력을 하는 방법에 대해서 포스팅을 해봤습니다. 갑자기 이번에는 전체 항목에 대해서 출력을 해볼까라는 생각을 하게되었습니다. 일단, 약간의 규칙성을 찾기 위해서 화면 하단에 있는 부분을 번호로 되어 있는 부분들을 마우스를 올려놓아봤습니다. [1] 부분의 마우스를 올려놓았을 때 화면 좌측에 다음과 같은 링크가 나타났습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 그리고 나서, [맨뒤] 부분에 마우스를 올려놓았을 때는 다음과 같은 링크가 나타나는 것을 확인할 수 있었습니다. https://f..

[파이썬 크롤링]네이버 주식 시가 총액 코스피 50위까지 순위 항목 가격 출력하기(bs4, requests) 크롤링을 하는 이유는 가장 쉽게 인터넷에 있는 취합하는 것이라고 생각합니다. 그 정보를 이용하여 사용자마다 각기 다양한 목적으로 사용할 수 있습니다. 그래서 이번 포스팅에서는 많은 사람들이 사용하는 네이버 금융에 있는 정보를 바탕으로 원하는 정보를 취합하는 형태에 대해서 이야기를 해보고자 합니다. 그 중에서 가장 쉽게 시가 총액 기준으로 표시해주는 부분이 있는데 이 부분에 첫페이지에 있는 정보를 출력해보도록 하겠습니다. 먼저, 다음에 있는 사이트를 클릭해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종..

파이썬[Python] 추출된 카톡 대화에서 이모티콘, 사진 횟수 계산하기 앞선 포스팅에서는 카카오톡을 파이썬을 가지고 분석하는 방법중에 카카오톡 대화중에 참석자들이 말한횟수를 셈하는 방법에 대해서 이야기를 해봤습니다. 그럼 이번 포스팅에서는 카카오톡 대화중에서 사진과 이미티콘을 사람마다 얼마나 사용했는지에 대해서 살펴보겠습니다. 먼저 다음 포스팅을 하기 전에 다음링크를 참조하여 카카오톡 대화를 추출하셔야 합니다. [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 카카오톡을 사용하다보면, 다양한 대화 내용들에 대해서 확인할 수 있습니다. 그래서 이 부분들을 활용해야..

파이썬[Python] 추출된 카톡 대화에서 사람마다 말한횟수 카운팅 하기 이번 포스팅은 카카오톡의 대화을 분석하는 방법에대해서 이야기를 해보고자 합니다. 게임을 하던지, 아니면 다른 업무를 하던지 카카오톡 단체대화를 많이 사용합니다. 이럴 경우, 카카오톡에서 대화를 추출하여 분석작업을 하곤 합니다. 그래서 이번 포스팅에서는 카카오톡에서 추출된 대화를 바탕으로 사용자마다 몇회 이야기를 했는지에 대해서 분석해보도록 하겠습니다. 먼저 다음 포스팅을 하기 위해서는 카카오톡 대화를 추출하셔야 합니다. 관련해서는 다음 링크에보이는 부분을 참조하여 주시길 바랍니다. [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Windows10]카카오톡 대화방 대화내용 추출하기 [윈도우10 Window..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목과 링크주소출력하기 (bs4, requests) 이전 포스팅에서는 추천뉴스의 제목을 추출하는 방법에 대해서 포스팅을 했습니다. 그 작업을 하고 포스팅을 하고 나니, 관련된 주소또한 추출해볼까라는 생각을 하였습니다. 그래서 다시 한번 코드 보기를 바탕으로 다음과 같은 화면을 봤습니다. 이전 포스팅에서는 span 태그에 있는 Text 값을 읽어왔는데 보다보니, a 태그의 속성값을 불러오면 되겠다는 생각을 하였습니다. 그래서 일단, a 태그 값을 한번 분석해봤습니다. 여기에서는 제목도 주소도 포함되고 있었습니다. 단, 주소의 경우는 앞에 다음과 같은 주소 https://sports.news.naver.com부분이 이 필요합니다. 그럼 럼 이 부분을 토대..

[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목 출력하기 (bs4, requests) 요새 한참 웹페이지 크롤링에 대해서 열을 올리고 있습니다. 그중에서, 오늘은 네이버에 특정 부분에 대해서 크롤링 해보는 작업을 해볼까 합니다. 먼저, 다음 보이는 네이버의 추천 뉴스 부분에 대해서 파싱하는 것에 대해서 이번 포스팅을 통해서 이야기를 해볼까 합니다. 그럼 먼저, 위에부분을 파싱하기 전에 어떤 부분에 관련된 내용이 쓰여져 있는지에 대해서 HTML 소스 코드 보기로 확인해보겠습니다. 다음 링크를 통해서 HTML 소스 코드를 살펴보겠습니다. [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하기 [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하..

파이썬[Python] C 소스 코드에 선언된 함수 정보 입력 인자, 리턴인자 정보 출력하기 이전 포스팅에서는 C소스 코드를 바탕으로 선언된 함수에 대해서 출력하는 방법에 대해서 살펴봤습니다. 그 부분을 통해서, 선언된 원문, 그리고 함수의 이름등을 확인할 수 있었습니다. 그래서 이번 포스팅은 앞선 포스팅의 연장선상에서, 함수의 입력인자와 출력인자의 타입등의 정보와 함수이름을 출력하는 방법에 대해서 살펴보고자 합니다. 앞선 포스팅과 동일하게 다음 링크에 있는 예시 코드를 활용하여 사용하였습니다. https://c.happycodings.com/sorting-searching/code12.html C | No sort, but reversing a [linked list] Code Example C Prog..

파이썬[Python] 정규표현식을 이용한 C 소스 코드에 선언된 함수 출력하기 최근에 C소스 코드를 가지고 다양한 작업들을 하고 있습니다. 그 중 이번 포스팅에서는 C 소스 코드 또는 헤더에 선언되어 있는 함수를 출력하는 부분들에 대해서 이야기를 해보고자 합니다. 먼저, 참고로 하는 소스코드는 다음 링크에 있는 코드를 활용하여 별도의 파일로 만들어서 활용하였습니다. https://c.happycodings.com/sorting-searching/code12.html C | No sort, but reversing a [linked list] Code Example C Programming Code Examples C > Sorting Searching Code Examples No sort, but re..