LiteLLM 한줄 정의 다양한 LLM API provider를 하나의 호출 계층으로 묶고, retry, fallback, timeout, routing을 관리하기 위한 LLMOps 도구. 핵심 이해 LiteLLM을 단순히 “여러 모델을 같은 문법으로 호출하는 라이브러리”로만 보면 활용 범위가 좁아진다. 수업에서 중요한 지점은 모델 호출을...

idol-agent v0.6 - LiteLLM + Docker + CI/CD 프로젝트 정보 위치: Week09/Day01/day6-mission/ 기술 스택: FastAPI, LangGraph, LiteLLM, Docker, Supabase 주차: Week 09 아키텍처 문제 정의 v0.6의 목표는 에...

LiteLLM 통합 + Docker 실습 실습 정보 주차: Week 09, Day 01 유형: 코드 구현 (Python) 상태: 완료 실습 목표 이 실습의 목표는 모델 호출 실패를 전제로 LLM 호출 계층을 만드는 것이다. 단순히 다른 모델 API를 하나 더 붙이는 것이 아니라, primary 모델 실패 시...

Week 09: LLMOps 개요 LLM 기반 서비스를 “만드는 단계”에서 “운영하는 단계”로 확장한 주차다. API 장애 대응, 모델 fallback, 상태 관리, 비용 추적, Observability를 다루고, idol-agent v0.6~v0.7 프로젝트로 연결한다. 주간 목표 Week 09의 핵심은 LLM API 호출을 운영 가능한...

API 이슈 & LiteLLM 수업 위치 이 수업은 Service Deployment 이후 LLMOps로 넘어가는 첫 번째 수업이다. 앞 단계까지는 FastAPI, LangGraph, Docker, CI/CD를 통해 에이전트 서비스를 실행하고 배포하는 흐름을 만들었다면, 여기서는 “운영 중인 LLM API가 실패하거나 느려지거나 비용이 튀면...

CD (Continuous Deployment) 수업 위치 이 수업은 CI를 통과한 코드를 실제 서버 환경으로 배포하는 단계다. CI가 “코드가 깨지지 않았는가”를 확인한다면, CD는 “다른 사람이 접속할 수 있는 환경에 안전하게 반영되는가”를 다룬다. 강의자료 기준 핵심은 로컬 실행에서 서버 실행으로 옮기는 것이다. 로컬에서 uvicorn으로 ...

CI/CD 한줄 정의 지속적 통합(Continuous Integration)과 지속적 배포(Continuous Delivery/Deployment). 코드 변경을 자동으로 빌드·테스트·배포하는 파이프라인이다. 학습 맥락 CI/CD는 개발환경 주차의 Git, Docker, 클라우드 학습이 실제 서비스 운영으로 이어지는 지점이다. 업스테이지 ...

GitHub Actions CI 수업 위치 이 수업은 코드가 “내 컴퓨터에서 돌아간다”를 넘어서 “변경할 때마다 깨지지 않는지 자동으로 확인한다”로 넘어가는 단계다. 강의자료의 문제 상황은 수동 테스트의 한계다. 프롬프트나 tool 호출 로직을 조금 수정했는데, 일부 기능만 손으로 확인하고 머지하면 운영에서 스케줄 조회나 RAG 경로가 깨질 수 있...

Gradio 한줄 정의 Python 기반의 ML 데모 및 인터랙티브 UI 프레임워크. 핵심 이해 Gradio는 머신러닝 모델의 데모 UI를 몇 줄의 코드로 구축할 수 있는 프레임워크다. 챗봇 인터페이스, 파일 업로드, 스트리밍 출력 등을 쉽게 구현할 수 있어 LLM 기반 에이전트의 프론트엔드로 활용된다. 언제 쓰는지 Gradio는 빠르...

Streaming 구현 수업 위치 이 수업은 LangGraph MVP가 동작한 이후 사용자 경험을 개선하는 단계다. MVP에서는 ainvoke로 그래프 전체 실행이 끝난 뒤 응답을 받기 때문에, 처리 시간이 길면 사용자는 아무것도 보지 못한다. Streaming은 이 대기 시간을 줄이는 것이 아니라, 사용자가 진행 상황을 느끼게 만드는 방식이다. ...