크롤링3 크롤링 - 주피터 노트북 설치 (mac OS) 크롤링 - 주피터 노트북 설치 (mac OS) 주피터 노트북의 장점/단점 주피터 노트북(Jupyter Notebook)은 데이터 분석 및 시각화, 딥러닝, 머신러닝에서 많이 사용되는 개발 환경이다. 아나콘다 사용 이유 : 데이터 분석 및 시각화, 딥러닝, 머신러닝에 필요한 패키지 등 기본적인 패키지를 모두 포함하고 있기 때문에 Jupyter Note를 활용할 때 따로 pip install 하는 절차를 밟지 않아도 되기 때문이다. 장점 - 오타 수정이 쉬운 편이다. - 코드를 한 칸씩 단계별로 동작시킬 수 있는 장점이 있다. - 코드 입력이 하나의 더미에서 돌리기 때문에 비교적 쉬운 편이다. - 데이터 분석시 시각화 자료를 만들기 편하다. - UI를 적용하여 실시간으로 코드가 돌아가는 것을 확인할 수 있다.. 2023. 5. 31. 크롤링 - 어떤 크롤러를 사용해야 할까? 크롤링 - 어떤 크롤러를 사용해야 할까? 프로젝트를 진행하며 숙소 정보들을 크롤링 해와야하는 상황이다. spring boot 를 활용하여 백엔드 프로젝트를 진행할 예정이다. 대량의 데이터 처리를 하기 위해 대량의 숙소 정보가 필요하다. 크롤링의 종류 정적 크롤링 , 동적 크롤링이 있다. 둘중 어느 크롤링 기법을 사용해야 하며 어떤 이점이 있을까? 1. 정적 크롤링 - 정적인 데이터(변하지 않는 데이터) 수집 장점 : 속도가 빠르다 2. 동적 크롤링 - 동적인 데이터(입력, 클린, 로그인과 같이 페이지 이동이 있어야 보이는 데이터) 수집 - 속도가 느리지만 더 많은 데이터를 수집 가능 정적 크롤링 동적 크롤링 연속성 주소를 통해 단발적 접근 브라우저를 통한 연속적 접근 수집 능력 수집 데이터의 한계가 존재.. 2023. 5. 31. 크롤링 기초(1) - html 크롤링 기초(1) - html html에서 사용하는 태그들에 대해 알아보자. 주석 코드의 내용을 설명 HTML은 Javascript는 // 코멘트할 내용 CSS는 /* 코멘트할 내용 */ 태그(tag) 설명하는 글 strong 태그 : 글씨 굵게 - 내용 u 태그 : underline(밑줄) - 내용 h 태그(h1~h6) - 자동 줄바꿈 p 태그 : 단락 지정 (내용) - 자동 줄바꿈 br 태그 : 줄바꿈 (내용) img 태그 () hr 태그 : 수평 가로선 ol 태그 (내용>) ul 태그 (내용>) 줄바꿈 태그 html new line tag : br태그 - 내용 (닫히는 태그는 없음) html paragraph tag : p태그 - 내용 이미지 넣기 : img태그 & 속성(attribute) img .. 2022. 6. 15. 이전 1 다음