애플리케이션은 AI 모델을 직접 호출할 수 있지만 성공한 답변만으로 요청의 승인 방식, 캐시 또는 제한 여부, 실패를 처리한 경로를 알 수는 없습니다. Cloudflare AI Gateway는 애플리케이션과 상위 모델 사이에 이름이 있는 확인 지점을 제공합니다. 여러 모델 요청의 접근 제어, 로그, 트래픽 정책을 한곳에서 관찰할 수 있습니다.
작은 Workers AI 애플리케이션에 확인 지점을 한 개념씩 추가합니다. 요청 라우팅에서 시작하여 실패 조사, 안전한 반복 응답 재사용, 요청 및 비용 제어, 범위가 제한된 모델 대체 경로를 구축합니다. 각 작업 옆에 짧은 설명을 제공하므로 게이트웨이나 AI 운영 경험은 필요하지 않습니다. 안내형 실습 5개와 독립 게이트웨이 우회 도전 과제 1개로 구성되며 각 역량을 안내형 실습에서 먼저 익힙니다.
배울 내용
- 게이트웨이로 추론 라우팅하기: 인증된 게이트웨이를 생성하고 게이트웨이 접근과 상위 모델 인가를 구분합니다.
- 실패한 모델 요청 추적하기: 비밀이 아닌 메타데이터를 추가하고 로그로 입력, 게이트웨이, 상위 모델 실패를 구분합니다.
- 반복 추론 요청 캐시하기: 정확한 캐시 미스와 히트를 관찰하고 새 출력이 필요하면 재사용을 우회합니다.
- 요청 및 비용 한도 제어하기: 작은 요청 한도를 확인하고 예산을 소진하지 않고 범위가 제한된 비용 정책을 읽어 확인합니다.
- 대체 모델로 복구하기: 통제된 주 모델 실패 하나에서 복구하고 대체 경로의 길이를 유한하게 유지합니다.
- 숨겨진 게이트웨이 우회: 직접 모델 호출로 의도한 게이트웨이 정책을 피하는 Worker를 독립적으로 복구합니다.
이 과정의 대상
Workers AI를 호출해 보았고 모델 요청을 관찰하고 제어하려는 개발자를 위한 과정입니다.
사전 요구 사항: Cloudflare Workers AI for Beginners와 Connect LabEx to Your Cloudflare Account를 완료하세요. JavaScript Worker, Workers AI 바인딩, 작은 모델 요청을 알아볼 수 있어야 합니다. 게이트웨이 개념은 처음부터 소개합니다.
학습 환경: 자신의 전용 Cloudflare 학습 계정을 사용하세요. 각 단원은 새 VM에서 시작하고 고유한 이름의 일회용 리소스를 생성한 뒤 삭제와 로그아웃으로 끝납니다. 실습은 Cloudflare 호스팅 모델과 Workers Free 안의 매우 적은 요청을 사용하며 Workers Paid나 외부 AI 제공업체 계정이 필요하지 않습니다.
자주 묻는 질문
외부 AI 제공업체 계정이 필요한가요?
아니요. Cloudflare 호스팅 모델과 적은 요청을 사용합니다. Workers Paid나 외부 제공업체 계정은 필요하지 않습니다.
게이트웨이 인증과 모델 인가는 같은가요?
아니요. 게이트웨이 접근과 상위 모델 접근을 별도로 테스트하고 비밀이 아닌 메타데이터와 로그로 입력, 게이트웨이, 상위 모델 실패를 구분합니다.
비용 정책 테스트를 위해 예산을 소진하나요?
아니요. 작은 요청 한도를 확인하고 범위가 제한된 비용 정책을 읽어 확인합니다. 이는 비용 한도에 실제로 도달했음을 입증하는 것과 다릅니다.
마지막 도전 과제는 무엇을 평가하나요?
모델을 직접 호출하여 의도한 게이트웨이 정책을 우회하는 Worker를 복구합니다. 복구 범위를 제한하고 실습에서 만든 리소스만 제거하세요.
