뷰티풀수프1 피로그래밍 12기 5주차 활동 정리(20.01.28~20.02.01) 화요일(01.28)Python으로 크롤링하기 by 신한결 선배님 -requests기본적으로 requests 모듈의 get함수를 이용해 html을 크롤링해온다. -beautifulsoup 뷰티풀수프 라이브러리를 활용하여 저장해둔 html에서 특정 부분(selecter를 이용)을 select한다.selector중 nth_child의 경우 크롤링이 잘 안되는 경우가 있으므로 해당 선택자는 제외하는 방향(넘기고 자손선택자 사용 등)으로 크롤링한다.크롤링 이후에 확인해보면 빈 리스트가 나오는 경우가 많은데, 이 때는 선택자가 잘못된 것이므로 선택자를 정확히 꼼꼼하게 검토해야한다. -selenium 라이브러리 사용시 웹 브라우저를 켜주고, 조작해준다. 만약 웹 사이트에 내에 프로그램이 돌아가고 있다던지, 로그인 후.. 2020. 2. 2. 이전 1 다음