Selenium을 활용한 고급 크롤링 동적 웹 페이지와 JavaScript 기반 사이트 크롤링 Selenium이란? Selenium은 웹 브라우저를 자동화하는 도구로, JavaScript로 동적으로 생성되는 콘텐츠를 크롤링할 수 있습니다. requests와 BeautifulSoup으로 처리할 수 없는 동적 웹사이트에 필수적인 도구입니다. S...

HTML 스크래핑 BeautifulSoup 라이브러리 활용 BeautifulSoup 역할 HTML 문자열을 Element 객체로 바꿔줌 DOM 구조로 만들기 위해서는 반드시 전체 HTML 구조가 필요 -> html.parser 파싱이란? 정수를 실수로 바꾸거나 문자열 등으로 바꿀 수 있는 걸 type casting 문자열을...

스크래핑 vs 웹크롤링 API 크롤링 카카오 API를 통한 크롤링 DOM구조를 이용한 크롤링 -> 내일 API란 url 매핑 -> API (ex. url = /user/login POST방식, GET방식) 서버에서 요청받는건 문자열(화면 구성 문자열-HTML, CSS, JS) API를 이용해서 메뉴판을 마련해...

UX : 내가 컨텐츠를 만들면 그걸 이용하는 사용자 관점에서 봤을 때 조사하여 개발하는 것 UI : UX를 통해서 기획된 것이 최적화되도록 디자인하기 공공 디자인 : 화폐, 여권, 쓰레기통 카카오톡 사용하다보니 뭐가 개선되었으면 좋겠다, 뭐가 불편하다 => UX 카카오톡 => UI 어포던스???

2023-08-16 학습내용 깃, 깃허브, 소스트리 깃 : 버전을 관리하기 위한 도구 소스트리 : 깃을 편하게 쓸 수 있게 하는 도구 깃허브 : 원격 저장소 호스팅 서비스 소스트리 실습 1. 로컬 저장소 만들기 Create -> C:/gitstudy/Test1 파일 탐색기에서 숨김항목을 확인했을때 .git이 있다면 깃...

Pandas concat과 merge - 데이터 연결과 병합 concat() - 데이터 연결 concat()은 DataFrame을 연결함. 행 방향으로 연결 기본 값인 axis = 0이 지정되어 있고, 행 방향으로 연결함. 또한, 같은 column을 알아서 찾아서 데이터를 연결 pd.concat([gas1, gas2]) 연결...

Pandas groupby와 pivot_table - 그룹화와 피벗테이블 apply() - 함수적용 apply()는 데이터 전처리시 굉장히 많이 활용하는 기능 좀 더 복잡한 logic을 컬럼 혹은 DataFrame에 적용하고자 할 때 사용 함수(Function) 정의 who 컬럼을 man은 남자, woman은 여자, child는 아...

Pandas 통계 함수 - describe, mean, median, corr 등 데이터 분석 통계 describe() - 요약통계 전반적인 주요 통계 확인 df.describe() : 수치형 count: 데이터 개수 mean: 평균 std: 표준편차 min: 최솟값 max: 최...

Pandas 데이터 조회, 정렬, 조건필터 - loc, iloc, where, isin 데이터 분석 데이터 조회 함수값 df.head() : 앞 부분 5개 데이터 확인 df.tail() : 뒷 부분 5개 데이터 확인 df.info() : 컬럼별 정보 확인 (데이터 개수, 데이터 타입) df.d...

Pandas 자료구조 - Series와 DataFrame Pandas Python 패키지 오픈 소스 데이터 분석 / 조직 도구 alias(별칭) import pandas (as pd) Pandas 자료구조 Series 1차원 배열, 인덱싱가능, 데이터타입 존재 생성 numpy array로 생성한 ...