Apache Kafka 기초 개념 실시간 스트리밍 데이터 플랫폼 Kafka란? Apache Kafka는 실시간으로 대용량 스트림 데이터를 처리하기 위한 분산 이벤트 스트리밍 플랫폼입니다. 높은 처리량과 낮은 지연시간을 제공하며, 마이크로서비스 간의 데이터 파이프라인 구축에 널리 사용됩니다. 주요 특징 고성능: 초당 수백만 개의 메시지 ...

Spark 상세 내용 231114~231124 학습한 내용 정리 Apache Spark 개요 정의 Apache Spark: 대용량 데이터 처리를 위한 통합 분석 엔진 인메모리 처리: 메모리 기반의 빠른 데이터 처리 분산 처리: 여러 노드에서 병렬로 데이터 처리 통합 플랫폼: 배치, 스트리밍, 머신러닝, 그래프 처리 통합 ...

Apache Spark 기초 개념 대용량 데이터 처리를 위한 분산 컴퓨팅 프레임워크 Spark란? Apache Spark는 대용량 데이터를 빠르게 처리하기 위한 오픈소스 분산 컴퓨팅 프레임워크입니다. 메모리 기반 연산을 통해 기존 MapReduce보다 10-100배 빠른 성능을 제공합니다. 주요 특징 메모리 기반 연산: 디스크 I/O ...

AWS 인스턴스, 보안그룹, 탄력적IP 인스턴스 인스턴스는 컴퓨터와 같다. AWS 어딘가에 Data Center가 있는데 그 일부를 할당해주는 것. EC2 = AWS Data Center 컴퓨터 local(집컴퓨터) - ssh방식 -> EC2(AWS제공컴퓨터) - 연결방식 : ssh(보안연결) - 정보필요 : EC2 hos...

분산시스템의 이해 컴퓨터의 진화 Process on machine 폰노이만 아키텍처 : 폰노이만 수학자가 제시한 컴퓨터 아이디어(구조) ⇒ 지금까지 사용 RPC(Remote Procedure Call) : 원격으로 어떠한 작업을 호출 인터넷이 발전함에 따라 현시점의 작업 명령과 어울리는 작업 컴퓨터에 직접 사람이 앞에 앉아 있어야하...

Selenium 크롤링 - 동적 웹 페이지 자동화 개요 Selenium은 웹 브라우저 자동화를 위한 강력한 도구입니다: 웹 브라우저 자동화: 실제 브라우저를 제어하여 웹 페이지 조작 JavaScript 실행: JavaScript 코드 실행 및 동적 콘텐츠 처리 사용자 시뮬레이션: 클릭, 입력, 스크롤 등 사용자 행동 시뮬레이션 다...

HTML 스크래핑 - 웹 데이터 수집의 핵심 개요 HTML 스크래핑은 웹 페이지의 HTML 구조를 분석하여 원하는 데이터를 추출하는 기술입니다: 웹 크롤링: 웹 사이트를 자동으로 탐색하고 데이터를 수집하는 과정 데이터 추출: HTML 태그, 속성, 텍스트에서 필요한 정보 추출 자동화: 반복적인 데이터 수집 작업 자동화 1. HTM...

카카오 API 크롤링 - 다양한 서비스 활용하기 개요 카카오 API는 다양한 서비스를 제공하는 강력한 도구입니다: 카카오맵 API: 장소 검색, 좌표 변환, 주소 검색 카카오뉴스 API: 뉴스 검색 및 분석 카카오톡 API: 메시지 전송, 친구 목록 조회 REST API: HTTP 기반의 RESTful API 제공 1. 카카오...

EDA 도구 활용 - 효율적인 탐색적 데이터 분석 개요 효율적인 탐색적 데이터 분석을 위한 자동화 도구를 학습합니다: EDA 도구: Sweetviz, Pandas Profiling, DataPrep, AutoViz 자동화 분석: 데이터 개요, 통계 분석, 시각화 실무 활용: 데이터 품질 검사, 모델링 전 탐색 고급 기법: 커스터마...

Matplotlib 고급 시각화 - 데이터 분석을 위한 전문 기법 개요 데이터 분석을 위한 고급 시각화 기법을 학습합니다: 시각화 라이브러리: Matplotlib, Seaborn, Plotly 비교 고급 기법: 분포, 관계, 시간, 비율 시각화 스타일링: 한글 폰트, 테마, 레이아웃 설정 실무 활용: 분석 과정과 보고서용 시각화 ...