HTTP (HyperText Transfer Protocol) 등장배경 팀 버너스리라는 분이 연구소에서 일하실 때 연구원들이 논문을 읽고 해당 논문에 쓰여있는 참고 논문을 보고 싶어 했다. 하지만 그 당시 논문은 단순히 적혀있기만 하고 해당 논문을 보기 위해서는 또다시 논문을 요청해야 하는 번거로운 과정이 있었다고 한다. 이에 대해 모든 논문을 모두 연결시키면 어떨까? 하는 발상에서 시작되어 지금의 HTTP가 되었다. HTTP는 많은 인기를 끌며 발전을 하게 되었지만, 정해진 규칙이 없어서 HTTP의 사용법이 모두 상이했다. 이러한 문제를 해결하기 위해 1996년에 첫 상용화 버전인 HTTP/1.0이 발표되었다. HTTP 요청 구조 HTTP 요청은 보통 크게 세 가지 요소로 나눌 수 있다. 1. Star..

crawling 필요한 라이브러리 requests 웹에 접속하게 해주는 역할 beaufifulsoup4 필요한 데이터만 가져오는 역할 크롤링 기본 코드 import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('URL입력',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 코딩 시작 크롤링 준비하기 1. 가상환경 만들기 여러 ..

fetch fetch("여기에 URL을 입력") URL을 입력해 준다. .then((res) => res.json()) 가져온 정보를 res라고 하여 res를 json형태로 만들라는 의미이다. .then((data) => { console.log(data); }); 그리고 그것을 data라고 하여 콘솔창에 data를 출력하라는 의미이다. Fetch 기본 코드 fetch("여기에 URL을 입력") .then((res) => res.json()) .then((data) => { console.log(data); }); 실습 Fetch 연습을 위한 페이지 실행하면 위와 같이 뜬다. 오른쪽 클릭을 하여 "검사"를 눌러준다. 화면의 "Console"을 클릭해 준다. 데이터가 잘 들어온 것을 확인할 수 있다. co..