AI 엔지니어링에서 권한과 책임 범위를 설계하는 방법AI가 단순히 답변을 생성하는 수준을 넘어 직접 Tool을 호출하고, 코드를 수정하고, 외부 시스템의 상태를 변경하는 Agent 형태로 발전하면서 권한과 책임 범위(Governance / Autonomy Boundary)를 어떻게 설정할 것인지가 중요한 문제가 되고 있다.AI Agent에게 더 많은 권한을 부여할수록 사람이 직접 처리해야 하는 작업은 줄어들고 자동화 수준은 높아진다.하지만 동시에 잘못된 판단 하나가 실제 시스템에 영향을 미칠 가능성도 커진다.답변 생성 ↓문서 수정 ↓코드 수정 ↓PR 생성 ↓Merge ↓DB 변경 ↓Production 배포위 작업들은 모두 AI가 기술적으로 수행할 수 있을 수 있다.하지만"..

=> AI관련들 이동AI 엔지니어링에서 운영 가시성과 실행 추적성을 확보하는 방법AI Agent가 단순히 답변을 생성하는 수준을 넘어 여러 Tool을 호출하고, 외부 데이터를 조회하고, 파일을 수정하며, 여러 단계의 작업을 수행하기 시작하면서 운영 가시성 및 실행 추적성(Observability)의 중요성도 커지고 있다.Observability는 일반적으로 관측 가능성이라고 번역하지만 다소 직역된 표현처럼 느껴질 수 있다.이 글에서는 조금 더 직관적으로"AI가 실제로 무엇을 했는지 확인하고 추적할 수 있는 능력"이라는 의미에서 운영 가시성 또는 실행 추적성이라는 표현을 사용하려고 한다.기존 애플리케이션에서도 로그와 모니터링은 중요했다.요청 발생 ↓API 호출 ↓오류 발생 ↓Log 확인 ↓S..

=> AI관련들 이동AI 엔지니어링에서 평가 체계를 구축하는 방법AI 시스템을 개발하다 보면 다음과 같은 판단을 해야 하는 순간이 반복적으로 발생한다.모델을 바꿨는데 정말 좋아진 것인가?Prompt를 수정했는데 성능이 향상된 것인가?Context를 줄였는데 정확도가 떨어지지는 않았는가?새로운 Tool을 추가했는데 Agent가 실제로 더 일을 잘하는가?비용은 줄었지만 실패율이 높아진 것은 아닌가?이러한 질문에 객관적으로 답하기 위해 필요한 것이 평가 체계(Evaluation / Evals)다.일반적인 소프트웨어에서는 테스트가 성공하면 기능이 정상적으로 동작한다고 판단하기 비교적 쉽다.하지만 AI 시스템은 상황이 조금 다르다.동일한 입력에서도 서로 다른 결과가 나올 수 있고, 하나의 작업을 완료하는 방법도 ..

=> AI관련들 이동AI 엔지니어링에서 컨텍스트를 관리하는 방법LLM의 컨텍스트 윈도우가 계속 커지면서 한때는 가능한 많은 정보를 모델에게 제공하는 것이 좋은 방법처럼 여겨졌다.하지만 AI Agent가 긴 시간 동안 작업하고 수많은 Tool을 호출하기 시작하면서 단순히 많은 정보를 제공하는 방식에는 한계가 있다는 것이 분명해지고 있다.많은 Context=좋은 Context는 아니다.오히려 실제로 중요한 것은현재 작업에 필요한 정보를필요한 순간에정확하게 제공하는 것이다.이러한 문제를 다루는 영역을 최근에는 컨텍스트 엔지니어링(Context Engineering)이라고 부른다.과거의 Prompt Engineering이"AI에게 어떻게 질문할 것인가?"에 집중했다면 Context Engineering은 더 넓..

② AdFlow - Mini OTT Ad Platform 구현 결과와 설계 변화GitHub Repositoryhttps://github.com/00700lsm/ad-flow지난 글에서는 AdFlow라는 Mini OTT Ad Platform을 어떤 방향으로 구현할 것인지 전체적인 구조를 설계했다.이전 글에서 잡았던 프로젝트의 흐름은 다음과 같았다.Product실제로 사용할 수 있는 광고 플랫폼 구현↓Problem사용자 증가와 이벤트 증가로 문제 발생↓Experiment문제를 재현하고 측정↓Engineering필요한 기술로 문제 해결↓Result개선된 시스템이 실제 서비스에서도 동작중요한 것은 처음부터 Redis, Kafka, k6 같은 기술을 모두 넣는 것이 아니었다.먼저 실제로 동작하는 제품을 만들고,문..