[파이썬 웹크롤링 4탄] 웹크롤링 안되는 이유, robot.txt

 

네이버 블로그 제목 가지고 오기!

 

div 태그안에  맞는데 안됨..

 

우선 안되는 이유 찾아보기 그 우회 안해서 일수있고 이거 안되는 이유 적은 책있음 로봇인가 그걸로 검색하면 안되는 크롤링 싸이트 나옴. 그걸로 체크해보자 

이것도 안됨.

 

https://blog.naver.com/c_blub/222253557746

https://wikidocs.net/48489

엄청난 교육자료! 웹크롤링 관련 토닥토닥 이분이 많이 했네

모바일 버전도 그럼

 

그럼 피하는 방법은? 셀레니윰