출처: 토큰포스트
AI 반도체 스타트업 삼바노바 시스템즈(SambaNova Systems)가 기존 연구 시스템보다 세 배 빠르고 비용 효율적인 인공지능(AI) 기반 ‘딥 리서치’ 프레임워크를 공개했다.
삼바노바는 AI 에이전트 개발사 크루AI(CrewAI)와 협력해 이 프레임워크를 개발했으며, 기업이 온전히 보안이 유지된 상태에서 내부 데이터를 분석할 수 있도록 지원한다고 밝혔다. 특히 엔비디아(NVDA)의 GPU 대신 자사 AI 가속기를 활용해 더 강력한 성능과 비용 절감을 동시에 실현할 수 있다는 점을 강조했다.
1조 원 이상의 벤처 투자를 유치한 삼바노바는 AI 모델 학습과 추론에 최적화된 고성능 반도체를 개발하는 기업으로, 엔비디아의 경쟁사로 평가받는다. 삼바노바의 AI 칩은 클라우드를 통해 액세스할 수 있을 뿐만 아니라 자체 어플라이언스를 통해 온프레미스 환경에서도 구동이 가능하다.
이번 프레임워크는 하나의 중요한 요소로 ‘에이전틱 라우터(Agentic Router)’를 포함하고 있다. 이 기술은 요청을 가장 적합한 AI 에이전트로 자동 분배해 최상의 정확도를 보장한다. 기본적으로 검색 에이전트, 딥 리서치 에이전트, 금융 분석가 등 세 가지 AI 에이전트가 제공되며, 기업은 이를 확장해 자체 AI 에이전트를 추가할 수도 있다.
삼바노바는 연구 과정에서 생성되는 토큰 수가 많기 때문에 비용 절감이 중요한 요소라고 강조하며, 오픈소스 대형 언어 모델(LLM)만을 활용하는 이유를 설명했다. 예를 들어, 메타(META)의 Llama 3.3 70B나 DeepSeek의 R1과 같은 모델을 채택해 비용을 낮추고, 높은 성능을 유지할 수 있도록 했다.
삼바노바는 이 프레임워크를 기반으로 연간 80억 개 이상의 토큰을 처리하는 기업이 기존 GPT-4o 대비 100억 원 이상을 절감할 수 있다고 주장했다. 기업 고객을 대상으로 한 데모 페이지와 깃허브(GitHub) 리포지토리도 공개해 보다 손쉽게 연구 시스템을 도입할 수 있도록 했다.
이번 발표는 AI 기반 연구 개발 비용을 획기적으로 낮추는 데 중요한 역할을 할 것으로 예상되며, AI 반도체 시장에서 삼바노바의 입지를 더욱 강화할 것으로 보인다.
