스크래핑 기초

1. Request와 Response

 - 스크래핑 하고자하는 페이지에 들어가면, 페이지에서는 필요한 정보를 여러가지 url로 부터 불러온다.

우리는 개발자 도구의 Network탭에서 해당 요소들을 확인할 수 있다.

 - 왼쪽에서 특정 Name을 선택하고 Response탭을 확인하면, 어떤 형태의 데이터가 해당 페이지로 불러와지는지 알 수 있다.

 - 해당 데이터들이 필요한 데이터라면, PostMan에서 해당 Url을 보내고 Response를 받아서 데이터를 활용할 수 있다.

 

2. PostMan

 - 원하는 정보를 Response 해주는 Url를 넣으면 데이터를 얻을 수 있다

 - 위의 그림과 같이 Unauthorized가 발생한다면, Headers의 Authorizatioin과 Cookie의 정보를 활용해서 권한을 얻어야 한다.