파이썬 크롤링할 범위를 구하는 방법
참고사항 해당 사이트는 크롤링이 불가합니다. 공부목적으로 수집하였음을 알려드립니다. 또한 웹 사이트마다 구조가 다르기 때문에 통용되는 방법은 아니고 하나의 예시를 보여드리고자 합니다. 카테고리 확인 예시로 "~ 용어사전 사이트" 의 용어목록 카테고리를 가져왔습니다. 첫 글자의 리스트와 4개의 카테고리가 존재합니다. Form Data 확인 "ㄱ" > "용어사전" > 첫번째 항목 선택 해당 페이지의 Request Method 는 POST 방식이고 Form Data 를 확인해보니 다음과 같은 구조를 가지고 있었습니다. "ㄱ" > "용어사전" > 끝 페이지 항목 선택 listPage 라는 키값이 1 -> 295 로 변한 것을 확인할 수 있습니다. listPage 를 1씩 증가 시켜 계속해서 호출하면 한 카테고리..
