셀레니움에서 웹 페이지의 HTML 소스를 가져오는 방법은?

Q1: 셀레니움에서 웹 페이지의 HTML 소스를 어떻게 가져오나요?
A1: `driver.page_source` 속성을 사용하면 현재 로드된 페이지 전체 HTML 소스를 문자열 형태로 가져올 수 있습니다.

```python
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")
html_source = driver.page_source
print(html_source)
driver.quit()
```

---

Q2: 특정 요소의 HTML만 가져올 수 있나요?
A2: 네, `WebElement` 객체의 `get_attribute('outerHTML')` 메서드를 사용하면 해당 요소의 HTML 전체를 문자열로 얻을 수 있습니다.
```python
element = driver.find_element_by_id("my_element")
html = element.get_attribute('outerHTML')
print(html)
```

---

Q3: 페이지가 동적으로 렌더링된 경우에도 `page_source`로 최신 HTML을 가져올 수 있나요?
A3: 네, `page_source`는 현재 브라우저에 로드된 DOM 상태를 반영하므로, JS 렌더링 이후에도 최신 HTML을 가져올 수 있습니다. 다만, 페이지가 완전히 로드될 때까지 적절히 대기해야 합니다.

---

Q4: HTML 소스를 가져오기 전에 페이지 로드를 어떻게 기다려야 하나요?
A4: `WebDriverWait`과 `expected_conditions` 모듈을 사용해 특정 요소가 나타날 때까지 기다리거나, `time.sleep()`으로 인위적으로 대기할 수 있습니다.
```python
from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "target_element")))
print(driver.page_source)
```

---

Q5: `page_source`로 가져온 HTML을 바로 파일로 저장하는 방법은?
A5: 문자열을 파일에 쓰면 됩니다.
```python
with open("page.html", "w", encoding="utf-8") as f:
f.write(driver.page_source)
```

---

Q6: 셀레니움과 BeautifulSoup를 같이 써서 HTML을 파싱하려면 어떻게 하나요?
A6: `page_source`를 BeautifulSoup에 넘겨서 파싱하면 됩니다.
```python
from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, "html.parser")
print(soup.prettify())
```

---

요약
- 웹페이지 전체 HTML: `driver.page_source`
- 특정 요소 HTML: `element.get_attribute('outerHTML')`
- 동적 로딩 시 `WebDriverWait`으로 대기 필수
- 필요시 파일 저장 및 BeautifulSoup 활용 가능

셀레니움(Selenium)은 웹 애플리케이션을 자동화하는 데 사용되는 강력한 도구로, 웹 페이지의 HTML 소스를 가져오는 데도 유용합니다.

셀레니움을 사용하면 브라우저를 자동으로 제어하여 웹 페이지를 로드하고, 그 페이지의 HTML 소스를 쉽게 추출할 수 있습니다.

아래에서는 셀레니움을 사용하여 웹 페이지의 HTML 소스를 가져오는 방법을 단계별로 설명하겠습니다.

1. 셀레니움 설치 먼저, 셀레니움을 사용하기 위해 Python 환경에 셀레니움을 설치해야 합니다.

다음 명령어를 사용하여 설치할 수 있습니다.

```bash pip install selenium ``` 또한, 웹 드라이버(예: ChromeDriver, GeckoDriver 등)를 다운로드하여 시스템 경로에 추가해야 합니다.

여기서는 Chrome을 예로 들겠습니다.



2. 웹 드라이버 설정 웹 드라이버를 설정하고 브라우저를 실행하는 코드를 작성합니다.

아래는 Chrome 브라우저를 사용하는 예제입니다.

```python from selenium import webdriver Chrome 드라이버 경로 설정 driver_path = 'path/to/chromedriver' ChromeDriver의 경로를 입력하세요.

driver = webdriver.Chrome(executable_path=driver_path) 웹 페이지 열기 url = 'https://example.com' 가져오고자 하는 웹 페이지의 URL driver.get(url) ```

3. HTML 소스 가져오기 웹 페이지가 로드된 후, `page_source` 속성을 사용하여 HTML 소스를 가져올 수 있습니다.

아래는 HTML 소스를 가져오는 코드입니다.

```python HTML 소스 가져오기 html_source = driver.page_source HTML 소스 출력 print(html_source) ```

4. 웹 페이지 작업 후 종료 작업이 끝난 후에는 브라우저를 종료해야 합니다.

이를 위해 `quit()` 메서드를 사용합니다.

```python 브라우저 종료 driver.quit() ``` 전체 코드 예제 위의 모든 단계를 통합한 전체 코드 예제는 다음과 같습니다.

```python from selenium import webdriver Chrome 드라이버 경로 설정 driver_path = 'path/to/chromedriver' ChromeDriver의 경로를 입력하세요.

driver = webdriver.Chrome(executable_path=driver_path) try: 웹 페이지 열기 url = 'https://example.com' 가져오고자 하는 웹 페이지의 URL driver.get(url) HTML 소스 가져오기 html_source = driver.page_source HTML 소스 출력 print(html_source) finally: 브라우저 종료 driver.quit() ``` 추가 팁 1. 대기 시간 설정 : 웹 페이지가 완전히 로드될 때까지 기다리기 위해 `WebDriverWait`을 사용할 수 있습니다.

이는 동적 콘텐츠가 있는 페이지에서 유용합니다.



2. JavaScript 렌더링 : 셀레니움은 JavaScript로 동적으로 생성된 콘텐츠도 가져올 수 있습니다.

따라서 AJAX 요청으로 로드되는 데이터도 쉽게 추출할 수 있습니다.



3. HTML 파싱 : 가져온 HTML 소스를 BeautifulSoup와 같은 라이브러리를 사용하여 파싱하고 원하는 데이터를 추출할 수 있습니다.



4. 헤드리스 모드 : 브라우저를 GUI 없이 실행하고 싶다면, Chrome의 경우 `options`를 설정하여 헤드리스 모드로 실행할 수 있습니다.

```python from selenium.webdriver.chrome.options import Options options = Options() options.headless = True 헤드리스 모드 설정 driver = webdriver.Chrome(executable_path=driver_path, options=options) ``` 이와 같은 방법으로 셀레니움을 사용하여 웹 페이지의 HTML 소스를 쉽게 가져올 수 있습니다.