파이썬 웹 크롤링을 활용한 데이터 수집

 

Python

VSCode

Google Colab

과정명	파이썬 웹 크롤링을 활용한 데이터 수집
과정설명	본 과정은 웹 데이터의 구조를 분석하고, 필요한 정보를 웹에서 추출하여 컴퓨터 파일로 저장하는 방법을 파이썬으로 학습한다. HTML을 기반으로 한 웹 데이터 처리 기술을 익히며, 파이썬의 웹데이터 수집 패키지를 이용하여 웹 데이터를 효율적으로 추출하고 저장하는 방법을 학습한다.
학습목표	• 웹페이지의 구조와 동작 방식을 이해하고 수집할 수 있음 • 파이썬의 웹데이터 수집 패키지를 활용할 수 있음 • 수집 데이터를 구조화하고 향후 분석의 기초자료로 활용할 수 있음

1	강의 소개 및 환경 설정	ㆍ강의 소개 ㆍPython, VSCode 설치
2	웹페이지 동작 원리 이해	ㆍ우리가 홈페이지를 보기까지 ㆍHTML, CSS, Java Script 구조 이해
3	웹페이지 구조 분석	ㆍ태그와 속성 이해 ㆍ브라우저 개발자도구 활용 실습
4	파이썬 패키지 이해	ㆍRequests 통신 실습 ㆍBeautiful Soup 통신 실습
5	정규표현식 구현	ㆍPython의 정규표현식 소개 ㆍ정규표현식 활용 방법 실습
6	웹 브라우저 자동화	ㆍ웹브라우저 자동화 기능 소개 및 실습 ㆍ다양한 웹브라우저 자동화 기능 실습
7	다양한 통신 방식	ㆍGET / POST 차이 실습 ㆍ동기 / 비동기 차이 실습
8	페이징을 위한 반복처리	ㆍ글 목록 수집과 글 본문 수집 분리 ㆍ반복문을 사용한 빅데이터 수집 실습
9	사례 실습1 : 뉴스	ㆍ뉴스 목록과 뉴스 본문 수집 실습 ㆍ정규표현식을 이용한 뉴스 정제 실습
10	사례 실습2 : 공고	ㆍ공고 목록과 공고 내용 수집 실습 ㆍ수집 자동화 처리 실습
11	사례 실습3 : 멀티미디어	ㆍ이미지 수집 실습 ㆍ이미지 기초 전처리 실습
12	데이터 수집 실습	ㆍ실습 예제 구현 ㆍ개인 프로젝트 구현
13	실습 프로젝트	ㆍ실습 예제 구현 ㆍ개인 프로젝트 구현

3. 부가 정보
선후수 과정정보	선수과정 (여러 개인 경우, 콤마로 구분하여 작성)	후수과정 (여러 개인 경우, 콤마로 구분하여 작성)
	빅데이터 프로젝트를 위한 기획 방법론, 빅데이터 분석을 위한 파이썬 프로그래밍 응용	빅데이터 분석 기법, 데이터 전처리 실습, 텍스트 데이터 분석 실습, 데이터 시각화 이론과 라이브러리 활용, 대용량 데이터 분석 EDA, API 활용 데이터 수집 및 업무 자동화
자격정보	빅데이터분석기사, ADsP, ADP