[Track 1] 그래서 토큰은 누가 관리하나요?

GPU를 어떻게 잘 활용할지에 대한 고민도 얼마 되지 않은 것 같은데, 모델 학습과 인퍼런스 서비스 운영을 지나 이제 에이전트와 하네스를 이야기합니다. 그리고 지금은 그 끝에서 모두가 토큰이라는 단위를 보고 있습니다. 이제는 토큰이 지능의 계량 단위가 되어 누가, 어느 모델에 얼마만큼의 토큰을 썼고, 어떻게 현명하게 소비할지에 대한 질문들이 몰려옵니다. 지능이 흐르는 길목을 지키는 Continuum Router와 그 라우터들을 중앙에서 통제하는 Continuum Hub에 대해 소개합니다.

Transcript

1. 그래서 토큰은 누가 관리하나요? 토큰이 지능의 계량 단위가 된 시대의 라우팅과 거버넌스 김종민 래블업 / GTM Lead
2. 1 래블업이 걸어온 길 2 갑자기 중요해진 토큰 팩토리 3 컨티넘의 구조와 역할 4 실물 데모 시대별 제품 반영 비유에서 실제 회계 단위로의 정립 두 개의 평면, 관제와 집행의 분리 등록 · 정책 · 폴백 · 라우팅
3. 1. 래블업이 걸어온 길 AI 시대별로 반영되어 온 래블업의 제품들
4. 2015 · 인프라의 최하위층부터 시작 2015 · GPU 는 비싸고, 놀고 있던 시절 GPU 분할 가상화 한 장을 여러 사용자에게 컨테이너 오케스트레이터 스케줄러까지 한 묶음 워크로드 동적 할당 필요한 만큼, 필요한 때에 Backend.AI 교훈 · 되는 것 과 운영되는 것 은 다른 문제 Industry first Fractional GPU with multi tenancy
5. 매번 트렌드가 바뀔 때마다 대응하는 제품 출시 그때의 흐름 우리가 내놓은 것 모델 학습 · 연구 자동화 MLOps FastTrack 학습에서 인퍼런스로 무게 이동 Serving 현 Deploy · PALI 팩 에이전트 트렌드 AI DOL AI GO 구현 시작 Lablup MCP · 스킬 · 마켓플레이스 동반 성장 자원 효율 런타임의 필요 MLXcel 기획은 뒤, 출시는 먼저 토큰 흐름의 관측과 제어 Continuum Router · Hub
6. 에이전트 시대의 산출물과 현재 개발 중인 것 AI:DOL AI:GO 로컬 실행 에이전틱 AI 클라이언트 Chat · Canvas · Translator · Creations Agent Marketplace · Cowork · Automations · Squad 동반 성장 비공개 Lablup MCP · 스킬 · 마켓플레이스 Agentic AI 팀이 현행화 중 이번 Lablup Conf 는 Agentic AI 팀의 별도 발표 오늘의 범위는 그 옆의 토큰 이야기 AI:GO 앱 화면
7. 매 시대별 통과하는 제품과 기술 개발 GPU 분할 · 동적 할당 모델 학습 · 연구 자동화 인퍼런스 중심 에이전트 트렌드 자원 효율 런타임 토큰이 흐르는 시대 Backend.AI FastTrack Deploy · PALI AI:DOL · AI:GO MLXcel Continuum Router · Hub 트렌드를 쫓기만 하는것이 아니라, 각 단계를 제품으로 먼저 통과
8. 토큰이 갑자기 전면에 나온 배경 1년 넘게 개발해 오던 라우터·허브가 갑자기 급해지게 된 계기
9. 2. 갑자기 중요해진 토큰 팩토리 토큰 팩토리 비유가 아니라 회계 단위라는 증거
10. 세 번의 큰 관심 축 이동 Tokens are the new commodity GPU 를 얼마나 잘 쓰나 1기 확보 · 분할 · 스케줄링 Jensen Huang · GTC 2026 키노트 2기 에이전트와 하네스, 그리고 MCP 쓰는 주체가 사람에서 코드로 축이 옮겨간 이유는 소비 주체의 교체 토큰을 쓰는 쪽이 사람에서 코드로 바뀌었다 3기 토큰의 생산과 소비를 관리 라우팅 · 회계 · 통제 소비 주체 토큰 소모 사람 종일 채팅해도 수만 개 남짓 수백 개의 에이전트 쉬지 않고 소모함 출처 NVIDIA · GTC 2026 Keynote · 2026 03 19 · nvidia.com/gtc/keynote/ 3기 오늘 발표의 범위
11. 토큰 팩토리는 더 이상 비유가 아닌 실적을 가늠하는 실체 I will focus my remarks across the three layers of our stack: Cloud Token Factory, Agent Platform, and High Value Agentic Experiences The key metric we are optimizing for is tokens per watt per dollar Satya Nadella · Microsoft CEO FY26 Q2 실적 발표 · 2026 01 28 everyone is going to need both observability of token spend and the manageability of token spend for all business processes. 관측과 관리 · 오늘 발표의 나머지 전부가 담긴 한 문장 Amy Hood · Microsoft CFO FY26 Q4 실적 발표 Q A · 2026 07 29 출처 Microsoft IR · FY26 Q2 Earnings Conference Call · 2026 01 28 · microsoft.com/en us/investor/events/fy 2026/earnings fy 2026 q2 crosoft.com/en us/investor/events/fy 2026/earnings fy 2026 q4 Microsoft IR · FY26 Q4 Earnings Conference Call Q A · 2026 07 29 · mi
12. 토큰 사용 요구와 사용량 기반 보상 연봉 50만 달러 엔지니어가 토큰을 25만 달러어치 안 썼다면, 저는 심각하게 우려할 겁니다. Jensen Huang · All In Podcast · 2026 03 19 GTC 기간 I m going to give them probably half of that on top of their base pay as tokens... CNBC 보도 · 2026 03 20 GTC 무대 발언 출처 All In Podcast · Jensen Huang 인터뷰 클립 · 2026 03 19 · x.com/theallinpod/status/2034976468699164917 20/nvidia ai agents tokens human workers engineer jobs unemployment jensen huang.html CNBC · Nvidia s Huang: AI agents, tokens and human workers · 2026 03 20 · cnbc.com/2026/03/
13. 단가 하락과 총지출 증가의 동시 진행 2026 2030 토큰 소비 24배 월 120 quadrillion 토큰 추론 토큰당 원가는 연 60 70 인하 Goldman Sachs Research · 2026 05 20 2026 AI 최적화 IaaS 지출 42B 96 Gartner · 2026 08 10 2028 에이전틱 워크플로 추론 비용 5배 이상 Gartner · 2026 08 17 인퍼런스 23.3B 트레이닝 19B 2026, 처음으로 인퍼런스 비용이 학습 비용을 역전 Gartner 보도자료 원문 · 2026 08 10 · 08 17 출처 Goldman Sachs Research · AI agents forecast to boost tech cash flow as usage soars · 2026 05 20 · goldmansachs.com/insights/articles/ai agents forecast to boost tech cash flow as usage soars Gartn er · Forecasts Worldwide AI Optimized IaaS Spending to Grow 96 in 2026 · 2026 08 10 · gartner.com/en/newsroom/press releases/2026 08 10 gartner forecasts worldwide artificial intelligence optimized iaas spending to grow 96 percent in 2026 Gartner · Predicts AI Inference Costs Per Agentic Workflow Will Increase More Than Fivefold Through 2028 · 2026 08 17 · gartner.com/en/newsroom/press releases/2026 08 17 gartner predicts ai inference costs per agentic workflow will increase more than fivefold through 2028
14. 사람의 사용과 에이전트의 사용 · 배수가 생기는 자리 총량만 늘어난 것이 아니라, 한 번의 요청이 커지고 요청이 멈추지 않게 된 것 사람이 쓰던 방식 에이전트가 쓰는 방식 대화형 · 읽고 쓰는 속도가 상한 루프 · 지시 하나가 수십 턴으로 한 번의 질문 한 번의 응답 한 번의 지시 호출 · 재시도 · 검증 문맥 사람이 고른 것만 문맥 턴마다 누적분 전체 멈춤 손을 떼면 멈춤 멈춤 개입 없이 지속 에이전트 대화의 약 4배 Anthropic 자체 측정 · 2025 06 멀티 에이전트 이상이 캐시된 접두부 대화의 약 15배 Anthropic 자체 측정 · 2025 06 실사용 집계 에이전트 토큰의 85 사람의 약 5배 a16z · OpenRouter · 2026 08 같은 지시문 · 도구 정의 · 누적 대화가 턴마다 다시 올라간다 KV 캐시 적중률 성능이 아니라 비용 항목 출처 Anthropic Engineering · How we built our multi agent research system · 2025 06 13 · anthropic.com/engineering/multi agent research system OpenRouter · 2026 08 21 · a16z.news/p/charts of the week winds of thematic a16z · Charts of the Week · Winds of Thematic Change 데이터
15. 사용 현장에서 제기되는 문제 생각보다 토큰을 많이 쓰네. 우리가 지금 얼마나 쓰고 있는 거지? 이 말 다음에 반드시 세 가지가 따라온다 측정 필요성 지금 얼마나 쓰는지부터 모른다 관리 필요성 알아도 넘으면 막을 방법이 없다 예측 필요성 다음 달 예산을 세울 근거가 없다 앞의 숫자가 시장의 이야기라면, 이것은 운영자의 이야기
16. 개선의 단위는 총량이 아니라 주체 총액은 청구서가 알려줌 · 총액만으로는 무엇을 끄고 무엇을 고칠지 정할 수 없음 한 곳이 절반 가까이 나머지 전부 붙어 있는 것이 여럿일 때, 소모는 고르게 나뉘지 않음 누가 쓰는가 주체별로 갈라 본다 무엇을 만들었는가 소모 옆에 산출을 놓는다 판정은 제품이 아니라 조직의 몫 무엇을 하는가 끄거나 · 고치거나 · 옮기거나 토큰 소비 증가와 생산성 향상 사이에 직접적인 관계는 없다 Gartner Senior Principal Analyst The Register 보도 · 2026 06 24 재는 일과 고치는 일을 되풀이해 조직에 맞는 지점을 찾아가는 일 출처 The Register · AI coding agents could soon cost more than the developers using them Gartner 애널리스트 인용 · 2026 06 24 · theregister.com/ai and ml/2026/06/24/ai coding agents could soon cost more t han the developers using them/5260864
17. 담론의 제도화 2026 08 04 Linux Foundation Tokenomics Foundation 출범 창립사 30곳 IBM · Oracle · SAP · ServiceNow JPMorganChase · Broadcom · Accenture ... 2026 Accenture Tokenomics 서비스 출범 컨설팅 회사의 토큰 지출 관리 상품화 재단 출범 컨설팅 상품화 Linux Foundation 보도자료 · 2026 08 04 유행이 아니라 제도 출처 Linux Foundation · Launches the Tokenomics Foundation to Define the Economics and ROI of AI Value · 2026 08 04 · linuxfoundation.org/press/linux foundation launches the tokenomics foundation to define the economics and roi of ai value Accenture Newsroom · Accenture Tokenomics launched to help enterprises manage AI token spend · 2026 · newsroom.accenture.com/blogs/2026/accenture tokenomics lau nched to help enterprises manage ai token spend
18. 업계의 대응 1 인수 2026 01 2026 03 2026 03 2026 04 2026 05 2026 08 ClickHouse Mintlify OpenAI Cisco Palo Alto Stripe Langfuse Helicone Promptfoo Galileo Portkey OpenRouter 관측 관측 평가 평가·관측 게이트웨이 게이트웨이 인수 주체 DB · 문서 · 모델 제공자 · 보안 · 결제 여덟 달 동안, 중간 계층이 통째로 Tokens are the central currency for companies building with AI Patrick Collison · Stripe 공동창업자 겸 CEO OpenRouter Blog · Stripe Newsroom · 2026 08 19 합의 발표 종료 전 출처 ClickHouse · Series D · acquires Langfuse · 2026 01 · clickhouse.com/blog/clickhouse raises 400 million series d acquires langfuse launches postgres Mintlify · Mintlify acquires Helicone · 2026 03 03 · m intlify.com/blog/mintlify acquires helicone OpenAI · OpenAI to acquire Promptfoo · 2026 03 09 · openai.com/index/openai to acquire promptfoo/ Cisco · Announces Intent to Acquire Galileo · 2026 04 09 · bl ogs.cisco.com/news/cisco announces the intent to acquire galileo 계속: 부록 출처 목록
19. 업계의 대응 2 플랫폼의 자체 개발 회사 내놓은 것 2026 07 28 Snowflake Cortex AI Gateway 2026 08 04 Databricks Unity AI Gateway GA 2026 08 18 F5 차세대 AI Gateway · 포지셔닝 문구가 AI tokenomics 데이터 플랫폼과 네트워크 장비 회사가 같은 달, 같은 이름의 제품 출시 게이트웨이 독립 제품이 아니라 인접 플랫폼이 흡수하는 계층 출처 Snowflake · Advances the Trusted Agentic Enterprise Era with Unified Monitoring and Cost Management · 2026 07 28 · snowflake.com/en/news/press releases/snowflake advances the trusted agentic enter prise era with unified monitoring and cost management/ Databricks Blog · Unity AI Gateway Generally Available · 2026 08 04 · databricks.com/blog/unity ai gateway generally available F5 Newsroom · F5 Unleashes Next Generation, Agentic Ready AI Gateway · 2026 08 18 · f5.com/company/news/press releases/f5 unleashes next generation agentic ready ai gateway to optimize the economics and governance of enterprise ai costs
20. 관측이 아닌 집행이 남은 과제 토큰 사용량을 보여주는 도구는 이미 다수. 문제는 그다음 단계. 보여준다 집행한다 관측 제품군이 이미 하는 것 함께 만들어 갈 자리 사용량 대시보드 한도를 넘으면 실제로 막는다 모델별 · 키별 집계 부서별로 청구서를 나눈다 지난 달 비용 리포트 마크업을 얹어 되판다 관측은 해결됐고 관리는 함께 만들어 갈 몫 게이트웨이 제품의 토큰 청구 화면 일례 · 보여주는 것은 이미 표준
21. 3. 컨티넘의 구조와 역할 두 개의 평면, 관제와 집행의 분리
22. 앞단 계층 도입 효과 · 연동 지점 축소 직접 연동 게이트웨이 경유 서비스 A 클라우드 API 서비스 A 서비스 B 사내 GPU 서비스 B 서비스 C 엣지 장비 서비스 C 연동 지점 서비스 수 프로바이더 수 프로바이더가 늘면 서비스마다 다시 작업 클라우드 API 게이트 웨이 사내 GPU 엣지 장비 연동 지점 서비스 수 프로바이더 추가는 게이트웨이 안에서 끝 모델을 교체해도 애플리케이션은 그대로. 바뀌는 것은 게이트웨이 안쪽뿐
23. 두 개의 평면 · 트래픽 경로와 관제 경로 플랫폼 관리자 Continuum Hub 정책 정의 관리 플레인 정책 담당 키 · 권한 중앙 관리 · 팀별 한도 집행 · 사용량 · 비용 집계 정책 · 키 배포 사용량 전송 클라우드 프로바이더 사내 서비스 Continuum Router 데이터 플레인 사용자 앱 멀티 백엔드 통합 · 라우팅 정책 로컬 · 자체 호스팅 폴백 · 헬스체크 · 가드레일 레이트리밋 · 캐시 에이전트 모든 상표는 각 소유자의 재산이며, 로고는 지원 백엔드 표시용으로 후원 · 제휴를 뜻하지 않습니다. 라우터 데이터 플레인 집행 · 허브 컨트롤 플레인 관제 · 허브 장애 시에도 서빙 지속
24. 관제와 집행의 분리 플랫폼 관리자 Continuum Hub 정책 정의 관리 플레인 정책 담당 키 · 권한 중앙 관리 · 팀별 한도 집행 · 사용량 · 비용 집계 정책 · 키 배포 사용량 전송 클라우드 프로바이더 허브는 트래픽 미통과 프롬프트·응답은 데이터 플레인 안에서만 이동 집행은 라우터의 몫 사내 서비스 한도 초과 차단 · 키 검증 · 폴백 전부 라우터 로컬 허브 장애 서빙 장애 Continuum Router 사용자 앱 데이터 플레인 멀티 백엔드 통합 · 라우팅 정책 허브가 죽어도 서빙 지속 로컬 · 자체 호스팅 폴백 · 헬스체크 · 가드레일 레이트리밋 · 캐시 에이전트 모든 상표는 각 소유자의 재산이며, 로고는 지원 백엔드 표시용으로 후원 · 제휴를 뜻하지 않습니다.
25. 키의 해시 전용 하향 전파 플랫폼 관리자 Continuum Hub 정책 정의 관리 플레인 정책 담당 키 · 권한 중앙 관리 · 팀별 한도 집행 · 사용량 · 비용 집계 정책 · 키 배포 사용량 전송 클라우드 프로바이더 평문 키의 외부 유출 없음 허브 라우터 전달은 SHA 256 해시 테이블만 검증은 라우터 로컬 사내 서비스 허브 조회 없음 허브 장애 시에도 인증 지속 비활성화 전파 약 5초 Continuum Router 사용자 앱 데이터 플레인 멀티 백엔드 통합 · 라우팅 정책 플릿 전체 · 사내 실측 2026 08 13 로컬 · 자체 호스팅 폴백 · 헬스체크 · 가드레일 레이트리밋 · 캐시 에이전트 모든 상표는 각 소유자의 재산이며, 로고는 지원 백엔드 표시용으로 후원 · 제휴를 뜻하지 않습니다.
26. 사용량 상향 전송 · 메타데이터 · 아웃바운드 전용 플랫폼 관리자 Continuum Hub 정책 정의 관리 플레인 정책 담당 키 · 권한 중앙 관리 · 팀별 한도 집행 · 사용량 · 비용 집계 정책 · 키 배포 사용량 전송 클라우드 프로바이더 프롬프트 본문은 미전송 요청 수 · 토큰 수 · 모델 · 키 ID 등 메타데이터만 방향은 전부 안에서 밖으로 사내 서비스 라우터가 허브에 발신 · 인바운드 구멍 없음 결과: 한 지도 위의 사내 전체 소비 Continuum Router 사용자 앱 데이터 플레인 멀티 백엔드 통합 · 라우팅 정책 라우터 대수와 무관하게 허브 한 화면에 집계 로컬 · 자체 호스팅 폴백 · 헬스체크 · 가드레일 레이트리밋 · 캐시 에이전트 모든 상표는 각 소유자의 재산이며, 로고는 지원 백엔드 표시용으로 후원 · 제휴를 뜻하지 않습니다.
27. 구조에서 나오는 차별점 세 가지 1 split plane 2 키는 해시로만 전달 3 절감을 금액으로 증명 관제와 집행의 분리 키는 평문으로 전달하지 않음 아꼈다 가 아니라 얼마 아꼈다 허브 장애 SHA 256 해시 테이블만 동기화 모델 카탈로그가 검증은 라우터 로컬 모델별 단가를 보유 서빙 장애 허브가 내려가도 라우터 서빙은 계속 비활성화 약 5초 만에 플릿 전체 전파 사내 실측 절감액을 금액으로 산출
28. 설정의 단계적 배포 설정 변경 일부 우선 적용 지켜보기 확정 또는 복귀 허브에서 한 번 정의 그룹 대표 한 대에만 먼저 지표 변화 관찰 정상이면 전체, 이상이면 원상 나머지 라우터는 그동안 기존 설정으로 계속 서빙 라우터가 몇 대든 설정은 한 곳에서 한 번. 적용은 단계로
29. 라우터 자체는 진입 장벽이 아님 라우터를 만드는 일 자체는 오래 걸리지 않음 · 지금 수많은 회사가 만드는 중 트렌드는 분기 단위로 바뀌고 제품은 주 단위로 나옴 · 기능표로 줄 세운 비교는 다음 분기면 무효 기능 단위로 붙였을 때 한 몸으로 엮였을 때 각각은 동작함 합이 절감으로 나타남 라우팅 요청만 나눠 보냄 라우팅 캐시 같은 곳으로 고정 캐시 따로 저장함 캐시 백엔드 KV 상태를 보고 회계 나중에 합산함 회계 집행 같은 축에서 무엇을 만들었나가 아니라, 무엇과 맞물려 있나 맞물린 자리 같은 앞머리의 요청은 같은 백엔드로 보내 캐시를 살린다 백엔드가 지금 무엇을 물고 있는지를 받아 보낼 곳을 고른다 쓴 만큼을 주체별로 적고, 한도를 넘으면 그 자리에서 막는다
30. 라우터를 고르는 기준 · 만든 쪽이 통과한 계층 기능표로 판정이 되지 않으면, 남는 기준은 만든 쪽이 무엇을 직접 겪고 운영해 왔는가 토큰 라우팅 · 회계 확인할 것 세 가지 Continuum Router · Hub 에이전트 클라이언트 원래 무슨 일을 했는가 첫 제품인가, 마지막 층인가 토큰을 실제로 소모하는 층 인퍼런스 서빙 · 런타임 모델을 띄우고 지키는 층 무엇을 직접 운영해 봤는가 장애와 과부하를 겪은 층은 어디까지인가 학습 · 연구 파이프라인 무엇이 같은 손 안에 있는가 워크로드를 흘려보내는 층 캐시 · 런타임 · 스케줄러가 갈라져 있지 않은가 GPU 분할 · 스케줄링 자원을 쪼개고 붙이는 층 남는 것은 기능표가 아니라 이력 2015년 인프라 최하위층에서 시작 · 각 시대를 제품으로 통과 지금 까지의 모든 경험의 토대 위에 쌓인 한 층
31. 현 시점의 도입 효용 토큰이 연봉의 절반이 되는 시대 ① 가시화 ② 차단 ③ 분할 ④ 절감 어디로 얼마가 한도를 넘으면 쓴 만큼 나눈 아꼈다가 아니라 흐르는지 본다 표시가 아니라 차단 부서별 청구서 얼마 아꼈다 키 · 사용자 · 팀 티어 · 예산 한도 Cost Center 정산 모델별 단가 보유 모델 · 프로바이더별 넘는 순간 차단 인보이스 라인까지 금액으로 산출 그리고 이 전부가 고객 망 밖으로 트래픽을 내보내지 않는 구조 위에서
32. 4. 실물 데모
33. 데모: 장애와 과부하에 대응 시나리오 예비 모델 전환 자동 차단 요청량 제한 기본 모델 실패 누적 요청 유입 실패 감지 임계 초과 키 · 모델별 검사 예비 모델 차단 후 복구 확인 허용량만 통과 헬스체크로 장애 백엔드를 라우팅에서 빼고, 복구가 확인되면 되돌립니다
34. Q A
35. Continuum Router 게이트에 LLM 등록 • 엔드포인트 URL, 런타임 종류, API Key 선택 입력 • 프론티어 모델 OpenAI, Anthropic, Gemini 등 의 API 정보 입력만으로도 등 록 가능 • 저장 즉시 라우팅 대상에 편입 영상 설명: • Backend.AI 에서 vLLM 으로 서빙 중인 NVIDIA Nemotron 30B 모델의 엔드포 인트를 복사 해 와서 Continuum Router 의 Backends 메뉴에 등록. • Anthropic Claude 모델이 사전에 등 록되어 있음.
36. Continuum Router 게이트에 LLM 등록 cont. 영상 설명 • 엣지 머신인 Jetson Nano 에 설치된 Ba ckend.AI 에서 서빙 중인 Gemma 3 1B 모델의 엔드포인트를 복사 해 와서 Continuum Router 의 Backends 메뉴 에 등록. • 사전에 등록된 Anthropic Claude, 새로 추가된 NVIDIA Nemotron, Google Gemma 총 3개의 LLM 엔드포인트가 입 력됨.
37. Continuum Router 애플리케이션에 연결 • 애플리케이션에 Continuum Router 의 URL 주소만 연결하면 바로 Router에 등 록된 모든 모델 사용 가능 영상 설명 • Models 메뉴에서 사용 가능한 모델 목록 확인 • Continuum Router 의 URL 복사. WebUI 는 동일한 URL 의 /webui 패스 로 접근 가능. • AI GO. 처음에는 사용 가능한 모델 없음. API à Add Provider à Provider Type 을 Continuum Router 로 선택 후 복사한 URL 입력. • Continuum Router 에 등록되어 있던 Claude, Nemotron, Gemma 모델이 사용 가능하게 됨.
38. Continuum Hub 와 Continuum Router 연결 • Hub 에서 토큰을 발급받아 Router 에 등 록 Enroll 하는 방식으로 연결 영상 설명: • Hub 의 Fleet à Set up Router 메뉴에 서 등록 토큰 키 발행 • 토큰 키 값을 복사. Router 의 Integrations 메뉴에서 복사 해 온 키와 Hub URL, 라우터명을 입력하고 Enroll Router 버튼을 눌러 등록 • Hub 에서 Router 의 config 입력에 필요 한 값 까지 복사 후 토큰 발행 창 종료. 토 큰 값은 처음 한번만 볼 수 있음. • Refresh 버튼을 클릭하면 연결된 라우터 가 목록에 나타남.
39. Continuum Hub 와 Continuum Router 연결 cont. • 등록 Enroll 후에는 Router 를 재시작 해 야 실제로 연결 완료됨 영상 설명: • Router 의 config 파일을 열어 환경변수 enrollment token 추가 • Router 재시작 • Router 재시작 후 약 1분 정도 기다리면 Hub 의 Fleet 화면의 목록에 라우터 상태 가 Pending à Active Healthy 로 변 경됨 • Observatory 메뉴에 가면 Topology 에 Router 에 등록된 모델들이 나타남
40. Continuum Hub 토큰 사용 한도 정책 • 누가 얼마만큼의 토큰 사용이 가능하게 할 것인지를 정책으로 정의 • 티어 단위로 시간/월 사용 한도 지정 • 기본 Default 티어 지정 • 예산 관점은 별도 기능으로 분리 영상 설명 • Hub 에 연결하고 나면 정책 설정 전 까지 Router 의 모델들이 사용 중지됨. • AI GO 의 Models, Chat 메뉴에 모델들 이 사용 중지 상태로 표시되거나 목록에서 사라짐 • Hub à Tiers 메뉴에서 새로운 티어 생 성. 월간 토큰량은 1,000 으로 제한. • 저장 후 하단 Organization Tiers 에서 생성한 티어 목록 확인 가능
41. Continuum Hub 토큰 사용 한도 정책 cont. • Hub 에서 키 발급 후 토큰 티어와 연결 영상 설명 • Hub à API Keys 메뉴에서 Issue Key 실행. 앞서 생성한 Tier 연결. • 키 발행 화면은 한번밖에 볼 수 없으니 생 성된 키 값 안전한 곳에 복사 • AI GO 에서 기존에 라우터에 연결했던 API 에 수정 버튼을 누르고 Hub 에서 생 성해 복사해 온 키값 입력. • Models 메뉴에서 사용 중지 되었던 모델 들이 다시 사용 가능한 상태로 변경 된 것 을 확인 • Chat 메뉴에서 사용 가능한 모델 목록 확 인. 제공자가 각 Provider 에서 Continuum Router 로 바뀌어 있음.
42. Continuum Router 애플리케이션에 연결 • 토큰 할당량을 통해 모델 사용 통제 영상 설명: • Hub à Observatory. 현재 사용된 토큰 없음 • AI:GO à Gemma3 1B 작은 모델 선택 후 한차례 대화. • Hub à Observatory 에서 토큰 사용과 request flow 확인. • AI:GO à Nemotron 큰 모델 선택 후 한차례 대화. Hub à Obsv. 에서 토큰 사용, Req. flow 추가 확인. • AI:GO à 같은 모델로 계속 대화. 할당된 토큰이 모두 소모되면 모델들이 다시 사용 불가 상태로 전환됨.
43. Fallback 장애 시 예비 모델 자동 전환 • 지정한 모델 사용이 불가능한 경우 대체 모델을 지정하여 흐름을 끊지 않고 대화를 이어나갈 수 있음. 영상 설명: • AI:GO à Nemotron 선택 후 너는 무슨 모델인지 질문. 답변: Nemotron. • Hub à Models à Fallback Chains 메뉴에서 Nemotron 의 fallback 으로 Gemma 선택. Configuration 의 Fallback 항목에서 등록된 fallback 확인 • Backends 메뉴에서 Nemotron 의 URL 을 변경. 연결 차단 확인 • AI:GO à Chat 메뉴에서 Max Token 값 2048 로 조절. 기본값으로 하면 폴백 오류남. 현재 개선중 . Nemotron 선택 후 너는 무슨 모델인지 질문. 답변: Gemma.