셀레니움에서 페이지의 모든 이미지 URL을 가져오는 방법은?

Q1: 셀레니움에서 페이지 내 모든 이미지의 URL을 어떻게 가져올 수 있나요?
A1: 셀레니움 드라이버로 페이지를 로드한 뒤, `find_elements` 메서드를 사용하여 모든 `` 태그를 찾고, 각 요소의 `src` 속성을 추출하면 됩니다.

---

Q2: 파이썬 예제 코드가 있나요?
A2: 네, 아래는 기본적인 예제입니다.

```python
from selenium import webdriver

driver = webdriver.Chrome() 혹은 다른 드라이버
driver.get("https://example.com")

images = driver.find_elements_by_tag_name('img')
img_urls = [img.get_attribute('src') for img in images]

for url in img_urls:
print(url)

driver.quit()
```

---

Q3: 이미지 URL이 상대 경로일 경우 어떻게 처리하나요?
A3: 상대 경로일 때는 `urllib.parse.urljoin`을 사용해 절대 URL로 변환하는 것이 좋습니다. 예시는 다음과 같습니다.

```python
from urllib.parse import urljoin

base_url = driver.current_url img_urls = [urljoin(base_url, img.get_attribute('src')) for img in images]
```

---

Q4: lazy loading으로 이미지 URL이 `src`가 아닌 다른 속성에 있을 때는 어떻게 하나요?
A4: lazy loading 구현 방식에 따라 달라지나, 일반적으로 `data-src`, `data-original` 등 커스텀 속성에 URL이 있을 수 있습니다. 아래처럼 여러 속성을 확인할 수 있습니다.

```python
img_urls = []
for img in images:
src = img.get_attribute('src') or img.get_attribute('data-src') or img.get_attribute('data-original')
if src:
img_urls.append(src)
```

---

Q5: 셀레니움이 아니라 BeautifulSoup를 쓰는 것과 비교하면 어떤 장점이 있나요?
A5: 셀레니움은 자바스크립트로 동적으로 생성된 이미지 요소도 렌더링 후 추출 가능하기 때문에 SPA나 JS에 의존하는 페이지 이미지 URL 추출에 더 적합합니다.

---

Q6: 이미지가 iframe 안에 있을 때도 추출할 수 있나요?
A6: iframe 내부의 이미지는 메인 도큐먼트에서 바로 찾을 수 없으며, 먼저 `driver.switch_to.frame()`으로 해당 iframe으로 전환한 뒤 이미지를 찾아야 합니다.

---

Q7: 추가적인 팁이 있나요?
A7:
- 페이지 로딩이 완료될 때까지 적절히 `WebDriverWait`으로 대기하세요.
- 여러 이미지가 동일 URL을 가질 수 있으니 중복 제거를 고려하세요.
- 권한 문제로 인해 접근이 불가한 이미지도 있을 수 있음을 유념하세요.

2000으로 변경해둠. 조회 가능 active view % 노출 줄이면 올라가는지 테스트 셀레니움(Selenium)은 웹 애플리케이션을 자동화하는 데 사용되는 강력한 도구로, 웹 페이지의 요소를 조작하고 정보를 추출하는 데 유용합니다. 페이지의 모든 이미지 URL을 가져오는 방법에 대해 자세히 설명하겠습니다. 1. 셀레니움 설치 먼저, 셀레니움을 사용하기 위해 Python 환경에 셀레니움을 설치해야 합니다. 다음 명령어를 사용하여 설치할 수 있습니다. ```bash pip install selenium ``` 또한, 웹 드라이버(예: ChromeDriver)를 다운로드하여 시스템 경로에 추가해야 합니다. Chrome을 사용하는 경우 [ChromeDriver](https://sites.google.com/chromium.org/driver/)에서 해당 버전을 다운로드하세요. 2. 기본 코드 구조 셀레니움을 사용하여 웹 페이지의 모든 이미지 URL을 가져오는 기본적인 코드 구조는 다음과 같습니다. ```python from selenium import webdriver from selenium.webdriver.common.by import By import time 웹 드라이버 설정 driver = webdriver.Chrome() 또는 webdriver.Firefox() 등 사용 driver.get('https://example.com') 원하는 웹 페이지 URL로 변경 페이지 로딩 대기 time.sleep(3) 페이지가 완전히 로드될 때까지 대기 모든 이미지 요소 찾기 images = driver.find_elements(By.TAG_NAME, 'img') 이미지 URL 수집 image_urls = [img.get_attribute('src') for img in images] 결과 출력 for url in image_urls: print(url) 드라이버 종료 driver.quit() ``` 3. 코드 설명 - 웹 드라이버 설정 : `webdriver.Chrome()`을 사용하여 Chrome 브라우저를 실행합니다. 다른 브라우저를 사용하려면 해당 브라우저에 맞는 드라이버를 사용해야 합니다. - 페이지 로딩 대기 : `time.sleep(3)`을 사용하여 페이지가 완전히 로드될 때까지 대기합니다. 더 나은 방법은 WebDriverWait을 사용하는 것입니다. - 이미지 요소 찾기 : `driver.find_elements(By.TAG_NAME, 'img')`를 사용하여 페이지의 모든 `` 태그를 찾습니다. - 이미지 URL 수집 : 리스트 컴프리헨션을 사용하여 각 이미지 요소의 `src` 속성을 가져와 리스트에 저장합니다. - 결과 출력 : 수집한 이미지 URL을 출력합니다. - 드라이버 종료 : `driver.quit()`을 호출하여 브라우저를 종료합니다. 4. WebDriverWait 사용하기 페이지가 로드되는 시간을 정확하게 기다리기 위해 `WebDriverWait`을 사용하는 것이 좋습니다. 다음은 이를 적용한 코드입니다. ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC 웹 드라이버 설정 driver = webdriver.Chrome() driver.get('https://example.com') 이미지 요소가 로드될 때까지 대기 WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.TAG_NAME, 'img'))) 모든 이미지 요소 찾기 images = driver.find_elements(By.TAG_NAME, 'img') 이미지 URL 수집 image_urls = [img.get_attribute('src') for img in images] 결과 출력 for url in image_urls: print(url) 드라이버 종료 driver.quit() ``` 5. 추가 고려 사항 - 동적 로딩 : 일부 웹 페이지는 JavaScript를 사용하여 이미지를 동적으로 로드합니다. 이 경우, 페이지가 완전히 로드될 때까지 기다려야 합니다. - 중복 URL 제거 : 수집한 이미지 URL 중 중복된 URL을 제거하려면 `set`을 사용할 수 있습니다. - HTTPS와 HTTP : 이미지 URL이 HTTPS인지 HTTP인지 확인하고, 필요에 따라 필터링할 수 있습니다. - 에러 처리 : 웹 페이지가 변경되거나 이미지가 로드되지 않는 경우를 대비하여 에러 처리를 추가하는 것이 좋습니다. 이와 같은 방법으로 셀레니움을 사용하여 웹 페이지의 모든 이미지 URL을 효과적으로 수집할 수 있습니다.