일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- git
- 파이썬3
- Windows10
- 비주얼베이직
- 오피스
- 아웃룩
- Outlook
- 파이썬GUI
- 윈도우11
- python3
- 안드로이드
- 문자열
- 윈도우
- matlab
- pythongui
- pyqt5
- python
- Excel
- pandas
- 윈도우10
- office
- VBA
- html
- 엑셀
- 파이썬
- Windows11
- windows
- Android
- 깃
- win32com
목록Python/Python Crawler[크롤러] (22)
Appia의 IT세상
[파이썬 크롤링]네이버 주식 시가 총액 코스피,코스닥 항목 엑셀로 추출하기 (종목, 종가) 먼저 앞선, 포스팅에서 코스피, 코스닥 종목에 대해서 종목과 가격에 대해서 출력하는 방법에 대해서 이야기를 해봤습니다. 그래서 이번 포스팅에서는 이와같이 출력하는 데이터를 엑셀로 저장하는 방법에 대해서 이야기를 해보고자 합니다. 이번 포스팅은 Win32com 기반으로 이루어집니다. 따라서, 해당 되는 부분들에 대해서 사용하기 위해서는 다음 링크를 바탕으로 Win32Com을 모듈을 설치해주시길 바랍니다. 파이썬[Python] 014 Pywin32 설치 파이썬[Python] 014 Pywin32 설치 오늘은 pywin32모듈 설치 하는 방법에 대해서 살펴 보겠습니다. 많은 분들이 python을 사용하는 이유 중 하나는..
[파이썬 크롤링]네이버 주식 시가 총액 코스닥전체 항목 출력하기 이전 포스팅에서는 네이버 금융에 있는 정보를 토대로, 코스피 지수 종목들의 항목들을 출력하는 방법에 대해서 포스팅을 해봤습니다. 물론 저의 경우 코스피위주의 투자를 하기 때문에 이와 같은 방식으로 투자 종목들을 선별하는데, 제 글을 보시는 분들중에 코스닥에 있는 종목들에 대해서도 출력하고싶어 하시는 분들이 있을 수 있겠다라는 생각을 해보게 되었습니다. 그래서 이전 포스팅을 바탕으로 약간의 변화를 줘서, 코스닥에 있는 종목들에 대해서 출력하는 포스팅을 해보도록 하겠습니다. 먼저, 이전에서 했던것와 같이 네이버 금융에서 어떤 부분들을 참고해야하는지에 대해서 살펴봤습니다. 이전과 비교해서 사이트 이름에 다음과 같은 부분들이 추가되었습니다. (코스..
[파이썬 크롤링]네이버 주식 시가 총액 코스피전체 항목 출력하기 이전 포스팅에서는 네이버 주식에서 시갈총액의 첫번째 화면에 있는 항목과 가격에 대해서 출력을 하는 방법에 대해서 포스팅을 해봤습니다. 갑자기 이번에는 전체 항목에 대해서 출력을 해볼까라는 생각을 하게되었습니다. 일단, 약간의 규칙성을 찾기 위해서 화면 하단에 있는 부분을 번호로 되어 있는 부분들을 마우스를 올려놓아봤습니다. [1] 부분의 마우스를 올려놓았을 때 화면 좌측에 다음과 같은 링크가 나타났습니다. https://finance.naver.com/sise/sise_market_sum.naver?&page=1 그리고 나서, [맨뒤] 부분에 마우스를 올려놓았을 때는 다음과 같은 링크가 나타나는 것을 확인할 수 있었습니다. https://f..
[파이썬 크롤링]네이버 주식 시가 총액 코스피 50위까지 순위 항목 가격 출력하기(bs4, requests) 크롤링을 하는 이유는 가장 쉽게 인터넷에 있는 취합하는 것이라고 생각합니다. 그 정보를 이용하여 사용자마다 각기 다양한 목적으로 사용할 수 있습니다. 그래서 이번 포스팅에서는 많은 사람들이 사용하는 네이버 금융에 있는 정보를 바탕으로 원하는 정보를 취합하는 형태에 대해서 이야기를 해보고자 합니다. 그 중에서 가장 쉽게 시가 총액 기준으로 표시해주는 부분이 있는데 이 부분에 첫페이지에 있는 정보를 출력해보도록 하겠습니다. 먼저, 다음에 있는 사이트를 클릭해보도록 하겠습니다. https://finance.naver.com/sise/sise_market_sum.naver 시가총액 : 네이버 금융 관심종..
[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목과 링크주소출력하기 (bs4, requests) 이전 포스팅에서는 추천뉴스의 제목을 추출하는 방법에 대해서 포스팅을 했습니다. 그 작업을 하고 포스팅을 하고 나니, 관련된 주소또한 추출해볼까라는 생각을 하였습니다. 그래서 다시 한번 코드 보기를 바탕으로 다음과 같은 화면을 봤습니다. 이전 포스팅에서는 span 태그에 있는 Text 값을 읽어왔는데 보다보니, a 태그의 속성값을 불러오면 되겠다는 생각을 하였습니다. 그래서 일단, a 태그 값을 한번 분석해봤습니다. 여기에서는 제목도 주소도 포함되고 있었습니다. 단, 주소의 경우는 앞에 다음과 같은 주소 https://sports.news.naver.com부분이 이 필요합니다. 그럼 럼 이 부분을 토대..
[파이썬 크롤링]네이버 스포츠 추천 뉴스 크롤링 하여 제목 출력하기 (bs4, requests) 요새 한참 웹페이지 크롤링에 대해서 열을 올리고 있습니다. 그중에서, 오늘은 네이버에 특정 부분에 대해서 크롤링 해보는 작업을 해볼까 합니다. 먼저, 다음 보이는 네이버의 추천 뉴스 부분에 대해서 파싱하는 것에 대해서 이번 포스팅을 통해서 이야기를 해볼까 합니다. 그럼 먼저, 위에부분을 파싱하기 전에 어떤 부분에 관련된 내용이 쓰여져 있는지에 대해서 HTML 소스 코드 보기로 확인해보겠습니다. 다음 링크를 통해서 HTML 소스 코드를 살펴보겠습니다. [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하기 [윈도우10 Windows10]크롬(Chrome) 웹사이트 HTML 코드 확인하..
Python[파이썬 웹크롤러] 05-WebCrawler beautifulsoup4(뷰티풀 수프) 웹페이지를 파싱하기(Parsing) 앞서 포스팅에서는 beautifulsoup4(뷰티풀 수프)를 설치하는 방법과 왜 beautifulsoup4(뷰티풀 수프)를사용하는지에 대해서 간단히 이야기 해봤습니다. 이번 포스팅에서는 beautifulsoup4(뷰티풀 수프)를 통해서 간단히 웹페이지를 파싱하는 방법에 대해서 이야기를 해볼까 합니다. 먼저 흔히들 beautifulsoup4(뷰티풀 수프)을 통해서 웹페이지 또는 Html 등의 파일을 Parsing 한다고 하면 수프를 만든다고 이야기를 합니다. 수프를 만드기 위해서는 관련해서 파서등을 사용해야 합니다. 관련해서는 다음과 같은 파서등을 지원하고 있습니다. 물론, ..
Python[파이썬 웹크롤러] 04-WebCrawler beautifulsoup4(뷰티풀 수프)설치하기 및 필요성 많은 웹 크웹크롤러(WebCrawler)를 생성하는 사람들이 매우 많습니다. 그 중에서 파이썬을 사용하는 대부분 사람들은 앞서서 포스팅 했던 Request 모듈을 사용하는 경우도 많습니다. 저 또한 Request 모듈을 매우 선호하고, 매우 훌륭한 모듈이라고 생각합니다. 하지만, 한가지 제약 사항들이 존재합니다. 즉, 데이터들을 원하는 객체로 정리하는 과정이 필요하다는 것입니다. Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치Python[파이썬 웹크롤러] 00-WebCrawler 크롤러를 위한 모듈 설치 - requests 모듈설치..
Python[파이썬 웹크롤러] 03-WebCrawler 사이트의 내용(Html) 읽어오기 이번 포스팅에서는 사이트의 HTML의 내용을 읽어오는 부분에 대해서 포스팅을 해보고자 합니다. 앞서서는 header 부분만 읽어왔다면, 이번에는 HTML 내용 전체를 가져오는 방법에 대해서 살펴보겠습니다. 일단 앞서 부분과 거의 유사한 부분이지만, 다시 한번 코드를 한번 살펴보겠습니다. import requests as rq url = 'https://appia.tistory.com' result = rq.get(url) print(result.text) cs get()을 통해서 가져온 결과에서 result.text를 통해서 HTML 전체 코드를 가져올 수 있습니다. 위의 코드를 실행하면 다음과 같은 결과가 나옵니다..
Python[파이썬 웹크롤러] 02-WebCrawler 사이트의 헤더 읽어오기 이번 포스팅은 웹사이트에서 헤더 파일을 읽어오는 방법에 대해서 살펴보고자 합니다. 이번에도 앞서 포스팅과 동일하게 requests 모듈을 활용하고자 합니다. 일단 앞서 코드에서와 동일하게 사용하는 부분에서 추가로 한가지 부분을 더 살펴보고자 합니다. 일단 먼저 다음 코드를 한번 살펴보겠습니다. import requests as rq url = 'https://appia.tistory.com' result = rq.get(url) print(result.headers) for i in result.headers: print(i)cs 위의 형태을 코드를 실행하면 다음과 같은 결과가 나옵니다. {'Date': 'Sun, 31 May..