출처: 토큰포스트
패트로누스 AI(Patronus AI)가 멀티모달 대형 언어 모델을 평가하는 새로운 기술을 공개하며 AI 신뢰성 문제 해결에 나섰다. 이 기술은 이미지와 텍스트 해석을 수행하는 AI 시스템의 정확성을 평가하고 오류를 분석하는 데 초점을 맞춘다.
패트로누스 AI의 공동 창업자인 아난드 칸나판은 “Etsy와 같은 기업이 대규모 AI 시스템을 더욱 정교하게 운영할 수 있도록 돕는 것이 목표”라고 밝혔다. 실제로 Etsy는 이 기술을 자사 마켓플레이스에서 제품 이미지의 캡션 정확도를 검증하는 데 사용하고 있다. Etsy 측은 “수억 개의 제품이 거래되는 플랫폼에서 자동 캡션 생성이 필수적이며, AI가 생성하는 캡션이 신뢰할 만한지 확인하는 것이 중요하다”고 설명했다.
패트로누스 AI의 ‘Judge-Image’는 구글의 AI 모델 ‘제미니(Gemini)’를 기반으로 구축됐다. 패트로누스 측은 오픈AI의 GPT-4V와 비교한 결과, 제미니가 편향성이 적고 평가 일관성이 뛰어나다는 결론을 내렸다고 밝혔다. 칸나판은 “GPT-4V는 다소 자기중심적 성향을 보였으나, 제미니는 다양한 입력 데이터를 보다 공정하게 평가하는 경향이 있었다”고 덧붙였다.
AI 평가 기술은 소매 업계를 넘어 다양한 분야로 확대될 전망이다. 마케팅 팀이 대규모 설계 작업에서 생성형 AI를 활용하거나, 법률 및 금융 부문에서 문서 분석을 위해 이를 도입할 가능성이 크다. 칸나판은 “기업들이 AI 평가 도구를 직접 개발하기보다 전문 솔루션을 구매하는 것이 더 효율적”이라며 “멀티모달 AI 시스템은 다양한 단계에서 오류가 발생할 가능성이 높기 때문에 정밀한 검증이 필수적”이라고 강조했다.
패트로누스 AI는 수익 모델도 다각화하고 있다. 사용자들이 일정 볼륨까지 무료로 평가 도구를 사용할 수 있도록 지원하며, 고급 기능을 원하는 기업 고객에게는 맞춤형 요금제를 제공한다. 이에 대해 칸나판은 “우리는 구글, 오픈AI와 경쟁하기보다는 협력하는 방향으로 나아가고 있다”며, “AI 평가 도구는 AI 모델과 병행해 필수적인 역할을 수행하는 기술”이라고 전했다.
패트로누스 AI는 향후 오디오 평가로 사업을 확장할 계획이다. “현재는 이미지 중심의 평가 시스템을 제공하고 있지만, 앞으로 음성 평가를 포함한 멀티모달 AI 점검 체계를 확장할 것”이라고 칸나판은 설명했다. AI가 인간과 유사한 방식으로 데이터를 해석하는 시대가 도래하면서, 정확성과 신뢰성을 평가하는 기술의 중요성은 한층 높아질 전망이다.
