'webscraping' 태그의 글 목록

위키피디아 한국어 페이지에서 "평화의 소녀상"을 검색하면 다음과 같은 화면이 나타난다. 해당 URL을 requests 모듈을 이용하여 접속하고, html 소스를 가져온다.

BeautifulSoup 클래스의 find( ) 메소드에 HTML 요소의 태그 이름(‘img’)을 전달하면, 해당 태그 부분을 찾아서 객체로 return 해준다. find( ) 명령은 HTML 문서에서 가장 처음으로 만나는 태그를 한 개 찾는다. 앞의 위키피디아 화면에서 가장 먼저 나오는 사진(img 태그)은 "주한 일본 대사관 앞 평화비"라는 설명이 붙어 있는 사진이다.

"평화의 소녀상, 속초"라는 설명이 있는 사진을 나타내는 ‘img’ 태그를 선택하려면, attrs 매개변수에 해당 태그에만 해당하는 고유의 속성을 추가해야 한다. 개발자 도구를 이용하여 해당 태그를 확인할 수 있는데, alt 속성 값으로 이미지 소스 URL 값을 갖는다. 이 속성을 find( ) 메소드의 attrs 매개변수에 입력하는 방식으로, 특정 태그를 선택할 수 있다.

import requests
from bs4 import BeautifulSoup

url = "https://ko.wikipedia.org/wiki/%ED%8F%89%ED%99%94%EC%9D%98_%EC%86%8C%EB%85%80%EC%83%81"
resp = requests.get(url)
html_src = resp.text

soup = BeautifulSoup(html_src, 'html.parser')
                    
photo_first = soup.find(name='img')
print(photo_first)
print("\n")

photo_sockcho = soup.find(name='img', attrs={'src':'//upload.wikimedia.org/wikipedia/commons/thumb/1/16/%ED%8F%89%ED%99%94%EC%9D%98%EC%86%8C%EB%85%80%EC%83%81%28Statute_of_Peace%29.jpg/220px-%ED%8F%89%ED%99%94%EC%9D%98%EC%86%8C%EB%85%80%EC%83%81%28Statute_of_Peace%29.jpg'})
print(photo_sockcho)

실행 결과는 다음과 같다. 두 개의 img 태그를 찾아서 내용을 확인할 수 있다. 이처럼, find( ) 메소드는 특정한 태그를 하나만 찾는 경우에 사용되고, 메모리 관리 측면이나 실행 시간에서 유리하다는 장점을 갖는다.

저작자표시 비영리 변경금지

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

[6] 파이썬 웹 스크래핑 - BeautifulSoup 클래스 객체 (0)	2019.08.05
[6] 파이썬 웹 스크래핑 - 로봇 배제 표준(robots.txt) (0)	2019.08.02
[5] 파이썬 웹 스크래핑 - requests 모듈, HTML 소스코드 확인 (0)	2019.08.01
[4] 상장사 재무제표 수집 (pandas) (0)	2018.08.16
[3] 네이버 주식 시세 (주가 정보) 스크래핑(scraping) 예제 (0)	2018.07.02

앞서, requests 모듈을 사용하여 웹 페이지를 요청하고, 응답 객체의 text 속성을 통해 HTML 소스코드를 얻는 과정을 살펴보았다.

2019/08/01 - [웹 스크래핑 (Web Scraping)] - [5] 파이썬 웹 스크래핑 - requests 모듈, HTML 소스코드 확인

HTML 태그와 같이 요소별로 구분하여 HTML 문서를 해석하는 작업을 파싱이라고 부른다. HMTL 소스코드를 파싱(parsing)하고 원하는 정보를 추출하기 위해 BeautifulSoup 라이브러리를 사용한다. 파이썬 클래스로 정의되어 있고, 윈도 명령 프롬프트 또는 터미널 창에서 “pip install beautifulsoup4”를 입력하여 설치한다.

BeautifulSoup 클래스는 매개변수로 전달받은 HTML 소스코드를 해석하여 BeautifulSoup 객체를 생성한다. 이 때, HTML을 파싱(해석)하는 적절한 구문 해석기(파서, parser)를 함께 입력해야 한다. 파서에는 "html.parser", "lxml" 등이 자주 사용된다. (주: XML 구문 해석을 위해서는 "xml" 파서를 따로 설치해서 사용한다.)

1) requests 모듈로 html 소스코드 얻기

import requests
from bs4 import BeautifulSoup

url = "https://en.wikipedia.org/wiki/Main_Page"
resp = requests.get(url)
print(resp)
print("\n")

html = resp.text
print(html[:300])
print("\n")

requests 모듈의 get( ) 함수의 요청에 웹 서버가 정상 응답하는 경우 코드 200의 값을 갖는다. 응답 객체의 text 속성을 html 변수에 저장하고 일부를 출력하면 html 소스코드를 확인할 수 있다.

<!DOCTYPE html>

<head>

<title>Wikipedia, the free encyclopedia</title>

2) html 소스코드를 BeautifulSoup 클래스 객체로 변환하기

soup = BeautifulSoup(html, 'html.parser')
print(type(soup))
print("\n")                 
print(soup.head)
print("\n")
print(soup.body)
print("\n")

다음에는 html 문자열을 BeautifulSoup 클래스 객체로 변환한다. type( ) 함수로 soup 객체를 확인하면, BeautifulSoup 클래스 객체라는 것을 알 수 있다. 여기서 soup 객체의 head 부분을 따로 지정할 수 있는데, 다음 실행결과와 같이 <head> 태그 부분이 출력된다. 마찬가지로 <body> 태그 부분을 따로 선택할 수도 있다.

<head>

<title>Wikipedia, the free encyclopedia</title>

</div>

<div class="noprint" id="siteSub">From Wikipedia, the free encyclopedia</div>

<div id="jump-to-nav"></div> ... <이하 생략>...

3) BeautifulSoup 클래스 속성 확인하기

print(soup.title)
print(soup.title.name)
print(soup.title.string)

<title> 태그를 먼저 선택해서 출력하면 태그의 문자열까지 전부 확인할 수 있다. 여기서 하위 속성인 name을 이용하면, 태그명을 선택할 수 있고, string 속성을 이용하면 문자열을 따로 추출할 수도 있다.

<title>Wikipedia, the free encyclopedia</title>

title

Wikipedia, the free encyclopedia

저작자표시 비영리 변경금지

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

[7] 파이썬 웹 스크래핑 - find 메소드로 <img> 태그 선택하기 (1)	2019.08.08
[6] 파이썬 웹 스크래핑 - 로봇 배제 표준(robots.txt) (0)	2019.08.02
[5] 파이썬 웹 스크래핑 - requests 모듈, HTML 소스코드 확인 (0)	2019.08.01
[4] 상장사 재무제표 수집 (pandas) (0)	2018.08.16
[3] 네이버 주식 시세 (주가 정보) 스크래핑(scraping) 예제 (0)	2018.07.02

네이버 등 포털 사이트에서 제공하는 주식시세(주가정보) 데이터를 가져와서, 그래프로 간략하게 그려보는 예제를 만들어 봅니다. 처음에는 코드 한줄 한줄 전부 이해하는 것보다는 예제 코드를 최대한 타이핑해보면서 실행 결과를 확인해 보면서 흥미를 갖는 것이 중요합니다.

지난 포스팅에서 설명드린 pandas.read_html 함수를 사용해서 네이버 주식 시세 테이블을 dataframe으로 가져옵니다. 아래 그림처럼 주식시세가 웹페이지 여러 페이지에 걸쳐 있기 때문에, 페이지를 한장씩 넘어가면서 pandas.read_html 함수를 사용하여 표를 여러 번 나누어서 읽어야 합니다.

우선, 필요한 패키지(pandas, datetime)를 불러온다. 네임스페이스를 사용하여 pd, dt 등 약칭으로 부른다

import pandas as pd # 데이터프레임을 다루는 패키지
import datetime as dt # 시간을 다루는 패키지
import matplotlib.pyplot as plt # 그래프 시각화 패키지
from matplotlib import style

이제 본격적으로 웹 스크래핑을 처리하는 함수(function)을 정의합니다. url 주소에 들어 있는 종목코드(6자리)와 주식시세 페이지 번호(page)를 유의해서 살펴보시기 바랍니다.

def read_stock_price_page(stock_code, page_num):
    '''
    네이버 주식시세 페이지에 접속하여 table을 dataframe으로 가져와서 정리
    '''
    target_url = ('http://finance.naver.com/item/sise_day.nhn?code='+ stock_code + '&page=' + str(page_num))
    data = pd.read_html(target_url)
    data = data[0]
    data.columns = ['날짜', '당일종가', '전일종가', '시가', '고가', '저가', '거래량']
    price_data = data.dropna(axis=0, how='any')
    price_data = price_data.drop(price_data.index[0])
    price_data = price_data.reset_index(drop=True)
    price_data['날짜'] = pd.to_datetime(price_data['날짜'], format='%Y/%m/%d')
    return price_data

오늘부터 과거로 소급해서 일정한 기간 동안의 주가 정보만을 가져오는 기능을 추가해 봅니다. days_limit이라는 변수를 함수 인자로 받아서, datetime 시간 클래스를 활용하여 기간을 계산합니다. 앞서 정의한 read_stock_price_page( ) 함수를 사용하여 매 페이지의 주가 정보를 가져 옵니다.

def stock_price_pages_to_df(code, days_limit=30):
    '''
    오늘부터 days_limit 일수 만큼 이전 날짜 주가를 가져온다.
    '''

    df_list_price = []
    page = 1
    while True:
        try:
            data = read_stock_price_page(code, page)
            time_limit = dt.datetime.now() - data['날짜'][0]
            if time_limit.days > days_limit: break
            df_list_price.append(data)
            page = page + 1

        except: break
    df_price = pd.concat(df_list_price)
    df_price = df_price.reset_index(drop=True)

return df_price

앞서 정의한 stock_price_pages_to_df( )함수에 종목코드와 기간(날짜)을 인자로 입력해서 dataframe 형태로 정리된 데이터를 return값으로 전달받습니다.

# 함수를 실행하여 KH바텍(060720)의 과거 30일 주가정보를 가져온다.
stock_code = '060720'
days_limit = 30
df = stock_price_pages_to_df(stock_code, days_limit)

df 변수에 할당된 데이터프레임을 아래와 같이 잘 정리가 되었습니다.

	날짜	당일종가	전일종가	시가	고가	저가	거래량
0	2018-07-02 0:00:00	10100	600	10850	10900	10000	137977
1	2018-06-29 0:00:00	10700	300	10550	10900	9990	170253
2	2018-06-28 0:00:00	10400	500	10900	10950	10150	155769
3	2018-06-27 0:00:00	10900	100	10800	11050	10500	133548
4	2018-06-26 0:00:00	10800	350	10900	11000	10700	63039
5	2018-06-25 0:00:00	11150	150	11400	11450	11000	55519
6	2018-06-22 0:00:00	11300	100	11250	11450	10750	134805
7	2018-06-21 0:00:00	11200	350	11350	11750	11200	133002
8	2018-06-20 0:00:00	11550	250	11200	11600	10900	308596
9	2018-06-19 0:00:00	11300	700	11850	11950	11300	180656
10	2018-06-18 0:00:00	12000	1400	13400	13400	12000	309787
11	2018-06-15 0:00:00	13400	50	13600	13600	12900	201376
12	2018-06-14 0:00:00	13450	250	13200	13700	13150	347451
13	2018-06-12 0:00:00	13200	1250	12200	13300	12050	558148
14	2018-06-11 0:00:00	11950	0	12000	12250	11950	62293
15	2018-06-08 0:00:00	11950	0	11950	12200	11800	59258
16	2018-06-07 0:00:00	11950	200	12200	12300	11900	49088
17	2018-06-05 0:00:00	12150	250	11800	12250	11800	42485
18	2018-06-04 0:00:00	11900	0	11900	12200	11700	25171
19	2018-06-01 0:00:00	11900	100	11800	12100	11750	32062

matplotlib 패키지를 사용하면, 그래프를 쉽게 그릴 수 있습니다. ggplot 스타일을 지정하고, 날짜를 x축으로 하고 당일종가 그래프를 그리게 됩니다.

# 주식 시세(당일종가) 그래프를 그린다.
style.use('ggplot') #그래프 스타일 지정
plt.plot(df.날짜, df.당일종가.astype(int))
plt.show()

필요한 패키지(pandas, datetime)를 불러온다. 네임스페이스 pd, dt, plt등 약칭으로 간단하게 부른다.

ggplot 스타일로 그래프가 그려집니다. KH바텍은 6월 한 달 동안 주가가 급등 후에 급락하는 패턴을 보이네요.

저작자표시 비영리 변경금지

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

[6] 파이썬 웹 스크래핑 - 로봇 배제 표준(robots.txt) (0)	2019.08.02
[5] 파이썬 웹 스크래핑 - requests 모듈, HTML 소스코드 확인 (0)	2019.08.01
[4] 상장사 재무제표 수집 (pandas) (0)	2018.08.16
[2] KOSPI 주식 종목 리스트 가져오기 -pandas.read_csv (5)	2018.06.27
[1] 환율 정보 데이터 수집 -pandas.read_html (4)	2018.06.27

Pandas Studio 블로그

[7] 파이썬 웹 스크래핑 - find 메소드로 <img> 태그 선택하기

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

[6] 파이썬 웹 스크래핑 - BeautifulSoup 클래스 객체

1) requests 모듈로 html 소스코드 얻기

2) html 소스코드를 BeautifulSoup 클래스 객체로 변환하기

3) BeautifulSoup 클래스 속성 확인하기

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

[3] 네이버 주식 시세 (주가 정보) 스크래핑(scraping) 예제

'파이썬 데이터 분석 > 웹 스크래핑' 카테고리의 다른 글

+ Recent posts

티스토리툴바