LLM 품질 평가 도구 - LLMET

LLMET(Large Language Model Evaluation Tool)는 인공지능 LLM에 대한 품질 평가 시험원 및 LLM 신뢰성 평가 심사원이 시험 및 심사를 위해 프롬프트를 작성·발화하고,
그 결과를 체계적으로 관리할 수 있도록 지원하는 와이즈스톤의 자체 기술로 개발된 LLM 품질 평가 도구입니다.
LLMET는 시험·심사 전 과정을 하나의 환경에서 효율적으로 수행할 수 있도록 설계되었습니다.

LLMET 주요 기능

• + 확대보기

  프로젝트 관리

  시험 및 심사 목적에 따라 프로젝트를 생성하고 참여 멤버를 관리
• + 확대보기

  LLM 관리

  시험 및 심사 대상이 되는 다양한 LLM을 연결하고 관리
• + 확대보기

  표준 프롬프트 관리

  인증 심사를 위한 표준 프롬프트(데이터셋)를 등록하고 관리
• + 확대보기

  맞춤 프롬프트 관리

  개별 시험 목적에 맞춘 맞춤형 프롬프트를 구성하고 관리
• + 확대보기

  프롬프트 자동 질의

  다량의 프롬프트를 LLM에 자동으로 질의하여 시험을 효율적으로 수행
• + 확대보기

  프롬프트 결과 관리

  프롬프트 발화 결과 및 이력을 체계적으로 저장·관리

LLMET 특장점