LiteLLM 통합 + Docker 실습 실습 정보 주차: Week 09, Day 01 유형: 코드 구현 (Python) 상태: 완료 실습 목표 이 실습의 목표는 모델 호출 실패를 전제로 LLM 호출 계층을 만드는 것이다. 단순히 다른 모델 API를 하나 더 붙이는 것이 아니라, primary 모델 실패 시...

Week 09: LLMOps 개요 LLM 기반 서비스를 “만드는 단계”에서 “운영하는 단계”로 확장한 주차다. API 장애 대응, 모델 fallback, 상태 관리, 비용 추적, Observability를 다루고, idol-agent v0.6~v0.7 프로젝트로 연결한다. 주간 목표 Week 09의 핵심은 LLM API 호출을 운영 가능한...

API 이슈 & LiteLLM 수업 위치 이 수업은 Service Deployment 이후 LLMOps로 넘어가는 첫 번째 수업이다. 앞 단계까지는 FastAPI, LangGraph, Docker, CI/CD를 통해 에이전트 서비스를 실행하고 배포하는 흐름을 만들었다면, 여기서는 “운영 중인 LLM API가 실패하거나 느려지거나 비용이 튀면...

CD (Continuous Deployment) 수업 위치 이 수업은 CI를 통과한 코드를 실제 서버 환경으로 배포하는 단계다. CI가 “코드가 깨지지 않았는가”를 확인한다면, CD는 “다른 사람이 접속할 수 있는 환경에 안전하게 반영되는가”를 다룬다. 강의자료 기준 핵심은 로컬 실행에서 서버 실행으로 옮기는 것이다. 로컬에서 uvicorn으로 ...

CI/CD 한줄 정의 지속적 통합(Continuous Integration)과 지속적 배포(Continuous Delivery/Deployment). 코드 변경을 자동으로 빌드·테스트·배포하는 파이프라인이다. 학습 맥락 CI/CD는 개발환경 주차의 Git, Docker, 클라우드 학습이 실제 서비스 운영으로 이어지는 지점이다. 업스테이지 ...

GitHub Actions CI 수업 위치 이 수업은 코드가 “내 컴퓨터에서 돌아간다”를 넘어서 “변경할 때마다 깨지지 않는지 자동으로 확인한다”로 넘어가는 단계다. 강의자료의 문제 상황은 수동 테스트의 한계다. 프롬프트나 tool 호출 로직을 조금 수정했는데, 일부 기능만 손으로 확인하고 머지하면 운영에서 스케줄 조회나 RAG 경로가 깨질 수 있...

LocalLens의 평가는 두 층으로 나눠 봐야 한다. 하나는 발표자료 기준의 모델 선택 근거이고, 다른 하나는 코드와 commit history에서 확인되는 실험/테스트 흐름이다. 두 근거를 섞으면 숫자의 의미가 흐려진다. 발표자료 기준 정량 근거 텍스트 인코더 선택에서는 후보 모델의 점수와 처리 시간이 함께 비교되었다. 발표자료의 MIRA...

PDF 검색은 텍스트 파일 검색보다 까다롭다. PDF 안에는 본문 텍스트뿐 아니라 표, 그래프, 다이어그램, 이미지가 함께 들어갈 수 있다. 텍스트만 추출하면 검색해야 할 맥락 일부가 빠진다. LocalLens는 PDF를 텍스트 추출 + 이미지 설명 + 텍스트 임베딩 흐름으로 처리했다. PDF 처리 흐름 flowchart TB PDF[...

Gradio 한줄 정의 Python 기반의 ML 데모 및 인터랙티브 UI 프레임워크. 핵심 이해 Gradio는 머신러닝 모델의 데모 UI를 몇 줄의 코드로 구축할 수 있는 프레임워크다. 챗봇 인터페이스, 파일 업로드, 스트리밍 출력 등을 쉽게 구현할 수 있어 LLM 기반 에이전트의 프론트엔드로 활용된다. 언제 쓰는지 Gradio는 빠르...

Streaming 구현 수업 위치 이 수업은 LangGraph MVP가 동작한 이후 사용자 경험을 개선하는 단계다. MVP에서는 ainvoke로 그래프 전체 실행이 끝난 뒤 응답을 받기 때문에, 처리 시간이 길면 사용자는 아무것도 보지 못한다. Streaming은 이 대기 시간을 줄이는 것이 아니라, 사용자가 진행 상황을 느끼게 만드는 방식이다. ...