상태관리 (State Management) 한줄 정의 LangGraph 에이전트의 실행 상태를 저장, 복원, trimming, 영속화하여 멀티 턴 대화와 운영 추적을 가능하게 하는 메커니즘. 핵심 이해 LangGraph에서 상태는 그래프 전체가 공유하는 데이터 구조다. 각 node는 상태를 읽고 필요한 값을 업데이트한다. 예를 들어 rou...

상태관리 + 비용 추적 실습 실습 정보 주차: Week 09, Day 02 유형: 코드 구현 (Python) 상태: 완료 실습 목표 LangGraph checkpoint를 이용해 에이전트의 대화 상태를 저장하고, token usage 기반으로 비용을 추적하며, context window 초과를 막기 위해 메...

상태 관리 수업 위치 이 수업은 LiteLLM을 통한 API 장애 대응 다음 단계다. Day01에서 모델 호출 계층의 안정성을 다뤘다면, Day02에서는 에이전트가 대화와 실행 상태를 어떻게 유지할지 다룬다. 에이전트 서비스는 stateless API처럼 매 요청을 독립적으로 처리하기 어렵다. 사용자의 이전 발화, 선택된 tool, 검색된 문서,...

idol-agent v0.6 - LiteLLM + Docker + CI/CD 프로젝트 정보 위치: Week09/Day01/day6-mission/ 기술 스택: FastAPI, LangGraph, LiteLLM, Docker, Supabase 주차: Week 09 아키텍처 문제 정의 v0.6의 목표는 에...

LiteLLM 한줄 정의 다양한 LLM API provider를 하나의 호출 계층으로 묶고, retry, fallback, timeout, routing을 관리하기 위한 LLMOps 도구. 핵심 이해 LiteLLM을 단순히 “여러 모델을 같은 문법으로 호출하는 라이브러리”로만 보면 활용 범위가 좁아진다. 수업에서 중요한 지점은 모델 호출을...

LiteLLM 통합 + Docker 실습 실습 정보 주차: Week 09, Day 01 유형: 코드 구현 (Python) 상태: 완료 실습 목표 이 실습의 목표는 모델 호출 실패를 전제로 LLM 호출 계층을 만드는 것이다. 단순히 다른 모델 API를 하나 더 붙이는 것이 아니라, primary 모델 실패 시...

Week 09: LLMOps 개요 LLM 기반 서비스를 “만드는 단계”에서 “운영하는 단계”로 확장한 주차다. API 장애 대응, 모델 fallback, 상태 관리, 비용 추적, Observability를 다루고, idol-agent v0.6~v0.7 프로젝트로 연결한다. 주간 목표 Week 09의 핵심은 LLM API 호출을 운영 가능한...

API 이슈 & LiteLLM 수업 위치 이 수업은 Service Deployment 이후 LLMOps로 넘어가는 첫 번째 수업이다. 앞 단계까지는 FastAPI, LangGraph, Docker, CI/CD를 통해 에이전트 서비스를 실행하고 배포하는 흐름을 만들었다면, 여기서는 “운영 중인 LLM API가 실패하거나 느려지거나 비용이 튀면...

CD (Continuous Deployment) 수업 위치 이 수업은 CI를 통과한 코드를 실제 서버 환경으로 배포하는 단계다. CI가 “코드가 깨지지 않았는가”를 확인한다면, CD는 “다른 사람이 접속할 수 있는 환경에 안전하게 반영되는가”를 다룬다. 강의자료 기준 핵심은 로컬 실행에서 서버 실행으로 옮기는 것이다. 로컬에서 uvicorn으로 ...

CI/CD 한줄 정의 지속적 통합(Continuous Integration)과 지속적 배포(Continuous Delivery/Deployment). 코드 변경을 자동으로 빌드·테스트·배포하는 파이프라인이다. 학습 맥락 CI/CD는 개발환경 주차의 Git, Docker, 클라우드 학습이 실제 서비스 운영으로 이어지는 지점이다. 업스테이지 ...