잉여개발자

    Python/Crawling 1

    [Crawling] Beautiful Soup 와 Selenium 선택 기준

    Selenium vs Beautiful Soup Selenium과 Beautiful Soup는 웹 스크래핑과 웹 자동화를 위해 사용되는 Python 라이브러리 둘 중에 크롤링을 위해 선택하는 기준은 목적성에 있으며, 때에 따라서는 혼합해서 사용도 가능하다. Selenium 웹 자동화를 위해 사용되는 도구 웹 브라우저를 자동으로 제어 (ex. 클릭 등)하고, 사용자의 동작을 시뮬레이션을 통해 웹 어플리케이션 테스트 및 정보 스크래핑에 사용된다. 웹 브라우저를 제어하기 때문에, JavaScript로 작성된 동적 웹 페이지를 다룰 수 있다. 웹 요소를 조작 하고 제어하기 위해 XPath 또는 CSS Selector(선택자)를 사용 가능하다. ex) 만약 페이지가 단순 html, css가 아닌 JavaScrip..

    Python/Crawling 2023.06.10
    이전
    1
    다음
    더보기
    • 분류 전체보기 (325)
      • 소프트웨어 개발자 (37)
        • 좋은 개발자 되기 (4)
        • 좋은 API, DB 설계하기 (12)
        • 디자인패턴 (12)
        • SW 개발론 (9)
      • 프로젝트 경험기 (17)
        • MSA 경험기 (7)
        • 파일 서비스 경험기 (3)
        • 리팩토링 경험기 (3)
        • 기타 경험기 (4)
      • Python (114)
        • Django (41)
        • Django Ninja (12)
        • DRF (5)
        • FastAPI (9)
        • Deployment (4)
        • Advanced (16)
        • Crawling (1)
        • Utils (13)
        • Flask (10)
        • UI (Reflex, Streamlit) (3)
      • DB (26)
        • 이론 (11)
        • 기본 실습 (7)
        • 경험 공유 (2)
        • Sqlalchemy (6)
      • AWS (17)
        • Serverless Lambda (4)
        • AWS 일반 (13)
      • DevOps (24)
        • Docker (7)
        • Kubernetes (12)
        • CI-CD (5)
      • 기술 정리 & CS (32)
        • 기술면접 대비 (13)
        • Web 일반 (8)
        • 인증, 인가 (4)
        • 기타 지식 (7)
      • HTML, CSS, JS (19)
      • 내배캠 (22.04~22.08) (20)
      • WIL (~22.09) (17)

    Tag

    boiler palte, django, 무중단 배포하기, fastapi, Django Model, docker-compose, jinja2, Wil, flask, Trouble Shooting, s3fs, table relationships, django datafield, gunicorn, Jwt Token, 보일러 플레이트 코드, pagination, 인스타그램 클론 프로젝트, pygame, KPT 회고,

    최근글과 인기글

    • 최근글
    • 인기글

    Calendar

    «   2025/06   »
    일 월 화 수 목 금 토
    1 2 3 4 5 6 7
    8 9 10 11 12 13 14
    15 16 17 18 19 20 21
    22 23 24 25 26 27 28
    29 30

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바