[python] bs4를 이용한 크롤링

사용한 import

import requests # HTTP 메소드(method, 또는 함수)의 GET 과 POST를 사용
import re # 정규식
import os # 운영체제 제어
from tqdm import tqdm # 진행률
from bs4 import BeautifulSoup # 크롤링

 

SOURCE

url = '크롤링 할 url 주소'

response = requests.get(url)

# 정상처리
if response.status_code == 200:
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    # 해당 클래스1 내부의 div태그의 title 클래스 값 가져오기
    contents_main = soup.select('.클래스1 > div.title')