MongoDB 기초 가장 인기 있는 NoSQL 문서 데이터베이스 MongoDB란? MongoDB는 문서 데이터베이스(Document DB)의 하나로, 가장 인기 있는 NoSQL 데이터베이스입니다. JSON 기반의 Document 기반 데이터 관리를 제공합니다. MongoDB 특징 Schema-less: 고정된 스키마가 없고, 같은 Co...

NoSQL 기초 개념 관계형 데이터베이스의 한계를 극복한 새로운 데이터 저장 방식 NoSQL이란? NoSQL(Not Only SQL)은 전통적인 관계형 데이터베이스보다 덜 제한적인 일관성 모델을 이용하는 데이터 저장 및 검색을 위한 매커니즘을 제공하는 데이터베이스입니다. NoSQL 출현 배경 1. 확장성 (Scalability) 작업...

Airflow 상세 내용 231120~231121, 231215~231222 학습한 내용 정리 Apache Airflow 개요 정의 Apache Airflow: 워크플로우 오케스트레이션 플랫폼 DAG: Directed Acyclic Graph (방향성 비순환 그래프) 스케줄링: 복잡한 데이터 파이프라인 스케줄링 및 모니터링 ...

Apache Airflow 기초 개념 워크플로우 오케스트레이션을 위한 플랫폼 Airflow란? Apache Airflow는 워크플로우를 프로그래밍 방식으로 작성, 스케줄링, 모니터링할 수 있는 플랫폼입니다. 데이터 파이프라인의 복잡한 의존성과 스케줄링을 관리하는 데 특화되어 있습니다. 주요 특징 프로그래밍 방식: Python 코드로 워...

Kafka 상세 내용 231122 학습한 내용 정리 Apache Kafka 개요 정의 Apache Kafka: 분산 스트리밍 플랫폼 메시지 큐: 대용량 실시간 데이터 스트리밍 이벤트 스트리밍: 이벤트 기반 아키텍처 지원 로그 기반: 분산 로그 시스템 특징 고성능: 초당 수백만 메시지 처리 확장성: 수평적 확장 ...

Apache Kafka 기초 개념 실시간 스트리밍 데이터 플랫폼 Kafka란? Apache Kafka는 실시간으로 대용량 스트림 데이터를 처리하기 위한 분산 이벤트 스트리밍 플랫폼입니다. 높은 처리량과 낮은 지연시간을 제공하며, 마이크로서비스 간의 데이터 파이프라인 구축에 널리 사용됩니다. 주요 특징 고성능: 초당 수백만 개의 메시지 ...

Spark 상세 내용 231114~231124 학습한 내용 정리 Apache Spark 개요 정의 Apache Spark: 대용량 데이터 처리를 위한 통합 분석 엔진 인메모리 처리: 메모리 기반의 빠른 데이터 처리 분산 처리: 여러 노드에서 병렬로 데이터 처리 통합 플랫폼: 배치, 스트리밍, 머신러닝, 그래프 처리 통합 ...

Apache Spark 기초 개념 대용량 데이터 처리를 위한 분산 컴퓨팅 프레임워크 Spark란? Apache Spark는 대용량 데이터를 빠르게 처리하기 위한 오픈소스 분산 컴퓨팅 프레임워크입니다. 메모리 기반 연산을 통해 기존 MapReduce보다 10-100배 빠른 성능을 제공합니다. 주요 특징 메모리 기반 연산: 디스크 I/O ...

AWS 인스턴스, 보안그룹, 탄력적IP 인스턴스 인스턴스는 컴퓨터와 같다. AWS 어딘가에 Data Center가 있는데 그 일부를 할당해주는 것. EC2 = AWS Data Center 컴퓨터 local(집컴퓨터) - ssh방식 -> EC2(AWS제공컴퓨터) - 연결방식 : ssh(보안연결) - 정보필요 : EC2 hos...

분산시스템의 이해 컴퓨터의 진화 Process on machine 폰노이만 아키텍처 : 폰노이만 수학자가 제시한 컴퓨터 아이디어(구조) ⇒ 지금까지 사용 RPC(Remote Procedure Call) : 원격으로 어떠한 작업을 호출 인터넷이 발전함에 따라 현시점의 작업 명령과 어울리는 작업 컴퓨터에 직접 사람이 앞에 앉아 있어야하...