Beautiful Soup vs. Scrapy vs. Selenium: 어떤 웹 스크래핑 도구를 사용해야 할까요?

Python으로 웹 스크래핑을 배우고 싶지만 다음 프로젝트에 Beautiful Soup, Selenium 또는 Scrapy를 사용할지 혼란스럽습니까? 이러한 모든 Python 라이브러리와 프레임워크는 그 자체로 강력하지만 모든 웹 스크래핑 요구 사항을 충족하지는 않으므로 특정 작업에 어떤 도구를 사용해야 하는지 아는 것이 중요합니다.

다음 Python 웹 스크래핑 프로젝트를 시작하기 전에 현명한 결정을 내릴 수 있도록 Beautiful Soup, Scrapy 및 Selenium의 차이점을 살펴보겠습니다.

1. 사용의 용이성

초보자인 경우 첫 번째 요구 사항은 배우고 사용하기 쉬운 라이브러리입니다. Beautiful Soup은 웹 스크래핑에 필요한 모든 기본 도구를 제공하며 Python에 대한 경험이 거의 없지만 웹 스크래핑을 시작하려는 사람들에게 특히 유용합니다.

유일한 주의 사항은 단순성으로 인해 Beautiful Soup은 Scrapy 또는 Selenium에 비해 강력하지 않다는 것입니다. 개발 경험이 있는 프로그래머는 Scrapy와 Selenium을 모두 쉽게 마스터할 수 있지만 초보자의 경우 Beautiful Soup 대신 이러한 프레임워크를 선택하면 첫 번째 프로젝트를 빌드하는 데 많은 시간이 걸릴 수 있습니다.

Beautiful Soup을 사용하여 example.com에서 제목 태그 콘텐츠를 스크랩하려면 다음 코드를 사용합니다.

url = "https://example.com/"
res = requests.get(url).text
soup = BeautifulSoup(res, 'html.parser')
title = soup.find("title").text
print(title)

Selenium을 사용하여 유사한 결과를 얻으려면 다음과 같이 작성합니다.

url = "https://example.com"
driver = webdriver.Chrome("path/to/chromedriver")
driver.get(url)
title = driver.find_element(By.TAG_NAME, "title").get_attribute('text')
print(title)

Scrapy 프로젝트의 파일 구조는 여러 파일로 구성되어 있어 복잡합니다. 다음 코드는 example.com에서 제목을 스크랩합니다.

import scrapy


class TitleSpider(scrapy.Spider):
name = 'title'
start_urls = ['https://example.com']

def parse(self, response):
yield {
'name': response.css('title'),
}

공식 API를 제공하는 서비스에서 데이터를 추출하고자 한다면 웹 스크래퍼를 개발하는 것보다 API를 사용하는 것이 현명한 선택일 수 있습니다.

2. 긁는 속도와 병렬화

세 가지 중에서 Scrapy는 속도면에서 확실한 승자입니다. 기본적으로 병렬화를 지원하기 때문입니다. Scrapy를 사용하면 한 번에 여러 HTTP 요청을 보낼 수 있으며 스크립트가 첫 번째 요청 집합에 대한 HTML 코드를 다운로드하면 다른 배치를 보낼 준비가 된 것입니다.

Beautiful Soup을 사용하면 스레딩 라이브러리를 사용하여 동시 HTTP 요청을 보낼 수 있지만 편리하지 않으며 그렇게 하려면 다중 스레딩을 배워야 합니다. Selenium에서는 여러 브라우저 인스턴스를 시작하지 않고 병렬화를 달성하는 것이 불가능합니다.

속도 면에서 이 세 가지 웹 스크래핑 도구의 순위를 매긴다면 Scrapy가 가장 빠르고 Beautiful Soup과 Selenium이 그 뒤를 잇습니다.

3. 메모리 사용량

Selenium은 웹 스크래핑 분야에서 응용 프로그램을 찾은 브라우저 자동화 API입니다. Selenium을 사용하여 웹사이트를 스크랩하면 백그라운드에서 실행되는 헤드리스 브라우저 인스턴스가 생성됩니다. 이것은 Beautiful Soup 및 Scrapy와 비교할 때 Selenium을 리소스 집약적인 도구로 만듭니다.

후자는 완전히 명령줄에서 작동하기 때문에 Selenium보다 적은 시스템 리소스를 사용하고 더 나은 성능을 제공합니다.

4. 종속성 요구 사항

Beautiful Soup은 HTML 및 XML 파일에서 데이터를 추출하는 데 도움이 되는 구문 분석 도구 모음입니다. 다른 건 없이 배송됩니다. 요청 또는 urllib 와 같은 라이브러리를 사용 하여 HTTP 요청, HTML/XML을 구문 분석하는 내장 구문 분석기 및 프록시 또는 데이터베이스 지원을 구현하는 추가 라이브러리를 사용해야 합니다.

반면 Scrapy는 전체 shebang과 함께 제공됩니다. 요청을 보내고, 다운로드한 코드를 구문 분석하고, 추출된 데이터에 대한 작업을 수행하고, 스크랩한 정보를 저장하는 도구를 얻을 수 있습니다. 확장 및 미들웨어를 사용하여 Scrapy에 다른 기능을 추가할 수 있지만 나중에 제공됩니다.

Selenium을 사용하면 자동화하려는 브라우저용 웹 드라이버를 다운로드합니다. 데이터 저장소 및 프록시 지원과 같은 다른 기능을 구현하려면 타사 모듈이 필요합니다.

5. 문서 품질

전반적으로 각 프로젝트 문서는 잘 구성되어 있으며 예제를 사용하여 모든 방법을 설명합니다. 그러나 프로젝트 문서의 효율성은 독자에게도 크게 좌우됩니다.

Beautiful Soup의 문서는 웹 스크래핑을 시작하는 초보자에게 훨씬 좋습니다. Selenium과 Scrapy에는 의심할 여지 없이 자세한 문서가 있지만 기술 전문 용어는 많은 신규 이민자를 당황하게 만들 수 있습니다.

프로그래밍 개념 및 용어에 대한 경험이 있는 경우 세 문서 중 하나를 쉽게 읽을 수 있습니다.

6. 확장 및 미들웨어 지원

Scrapy는 가장 확장성이 뛰어난 웹 스크래핑 Python 프레임워크입니다. 미들웨어, 확장, 프록시 등을 지원하고 대규모 프로젝트를 위한 크롤러 개발을 돕습니다.

기본적으로 프레임워크의 기본 메커니즘에 사용자 정의 기능을 추가하는 후크인 미들웨어를 Scrapy에 구현하여 완벽하고 효율적인 크롤러를 작성할 수 있습니다. 예를 들어 HttpErrorMiddleware는 HTTP 오류를 처리하므로 스파이더가 요청을 처리하는 동안 처리할 필요가 없습니다.

미들웨어 및 확장은 Scrapy 전용이지만 추가 Python 라이브러리를 사용하여 Beautiful Soup 및 Selenium과 유사한 결과를 얻을 수 있습니다.

7. 자바스크립트 렌더링

Selenium에는 다른 웹 스크래핑 라이브러리, 즉 JavaScript 지원 웹 사이트 스크래핑을 능가하는 사용 사례가 있습니다. Scrapy 미들웨어를 사용하여 JavaScript 요소를 스크랩할 수 있지만 Selenium 작업 흐름이 가장 쉽고 편리합니다.

브라우저를 사용하여 웹 사이트를 로드하고, 클릭 및 버튼 누름을 사용하여 웹 사이트와 상호 작용하고, 화면에서 스크랩해야 하는 콘텐츠가 있으면 Selenium의 CSS 및 XPath 선택기를 사용하여 추출합니다.

Beautiful Soup은 XPath 또는 CSS 선택기를 사용하여 HTML 요소를 선택할 수 있습니다. 그러나 웹 페이지에서 JavaScript로 렌더링된 요소를 스크랩하는 기능은 제공하지 않습니다.

Python으로 쉽게 웹 스크래핑

인터넷은 원시 데이터로 가득 차 있습니다. 웹 스크래핑은 이 데이터를 유용하게 사용할 수 있는 의미 있는 정보로 변환하는 데 도움이 됩니다. Selenium은 JavaScript로 웹 사이트를 스크랩하거나 데이터를 추출하기 전에 일부 화면 요소를 트리거해야 하는 경우 가장 안전한 방법일 것입니다.

Scrapy는 작은 크롤러를 작성하든 업데이트된 데이터를 위해 인터넷을 반복적으로 크롤링하는 대규모 스크레이퍼를 작성하든 관계없이 모든 요구에 맞는 완전한 웹 스크래핑 프레임워크입니다.

초보자이거나 스크레이퍼를 빠르게 개발해야 하는 경우 뷰티풀수프를 사용할 수 있습니다. 어떤 프레임워크나 라이브러리를 사용하든 Python으로 웹 스크래핑 학습을 시작하는 것은 쉽습니다. ​​​​​​