LocalLens의 검색은 GUI -> SearchEngine -> FileManager -> VectorStore -> Encoder -> FAISS/SQLite -> Result 흐름으로 이어진다. 사용자는 검색창 하나를 보지만, 내부에서는 파일 상태 동기화와 타입별 임베딩, 벡터 검색이 순서대로 실행된다. 전체 ...

AgentOps 한줄 정의 AI 에이전트의 운영, 모니터링, 비용 관리를 위한 운영 프레임워크. 학습 맥락 AgentOps는 W06D05의 Evaluation & AgentOps에서 처음 다뤘다. 앞선 주차에서 프롬프트, RAG, Tool Calling, LangGraph 같은 “에이전트를 만드는 방법”을 배웠다면, 이 주제는 만든...

Agent Evaluation 한줄 정의 LLM 에이전트의 성능과 품질을 측정하는 방법론. 정량적 메트릭과 정성적 평가를 결합하여 에이전트의 개선 방향을 도출한다. 핵심 이해 LLM-as-Judge는 강력한 LLM을 평가자로 활용하는 기법이다. 사람의 판단 기준을 프롬프트로 정의하고, 에이전트 출력을 LLM이 채점한다. 비용 효율적이고 확...

Evaluation + AgentOps 실습 실습 정보 주차: Week 06, Day 05 유형: Jupyter Notebook 상태: 완료 실습 목표 에이전트 평가(Evaluation)와 AgentOps 모니터링 실습. 핵심 학습 포인트 LLM-as-Judge 평가 기법 에이전트 성능 메트릭 정의...

Evaluation & AgentOps 핵심 개념 요약 에이전트 시스템의 품질을 측정하고 평가하는 방법론과, 에이전트를 프로덕션 환경에서 운영·관리하는 AgentOps 전략을 학습한다. LLM 기반 시스템의 평가 지표 설계, 자동 평가 파이프라인, 그리고 모니터링·로깅·추적을 통한 에이전트 운영 방법을 다룬다. 주요 내용 1. L...

Lumi_agent에서 LangGraph를 쓴 이유는 “Agent를 만들 수 있어서”가 아니라 “실행 흐름을 보이게 만들 수 있어서”다. 외부 도구를 호출하는 Agent는 단순히 답변을 생성하는 챗봇보다 실패 지점이 많다. 도구를 호출할지, 어떤 도구가 안전한지, 실행 후 다시 생각할지, 마지막에 기억을 저장할지 결정해야 한다. wrapper 방식...

Context Engineering 한줄 정의 LLM의 컨텍스트 윈도우를 최적으로 활용하기 위한 정보 설계 기법. 제한된 토큰 예산 내에서 최대 품질의 출력을 이끌어낸다. 학습 맥락 Context Engineering은 W06D04 Context Engineering & Safety에서 다뤘다. 프롬프트 엔지니어링이 “어떻게 지시할...

Context Engineering + Safety 실습 실습 정보 주차: Week 06, Day 04 유형: Jupyter Notebook 상태: 완료 실습 목표 Context Engineering 2.0과 Safety/Guardrails 실습. 핵심 학습 포인트 컨텍스트 윈도우 최적화 전략 Sa...

Context Engineering & Safety 수업 위치 이 수업은 Agentic Workflow 주차에서 Tool Calling, Agentic RAG, Memory를 배운 뒤 이어지는 보안/품질 관리 단계다. 에이전트가 도구를 쓰고 장기 메모리를 갖게 되면, 컨텍스트에 어떤 정보를 넣을지와 어떤 정보를 믿으면 안 되는지가 서비스 품...

Lumi_agent의 전체 구조는 Desktop GUI -> Analyzer -> Context Builder -> Agent Node -> MCP Tools -> Memory Manager 흐름으로 이어진다. 사용자는 캐릭터형 GUI와 대화하지만, 내부에서는 감정/관계 상태, 기억 검색, 도구 라우팅, 승인 경계, 메모리...