· AI Testing
LLM Testing Vision AI Testing AI agent Testing Physical AI Testing· Data Validation
AI Ready 데이터 검증· Software Testing
SW Testing이미지·비디오(Vision)
세그멘테이션

G사는 건축 도면을 분석해 3D 출력까지 연결하는 디지털 건축 자동화 기술을 개발하고 있었습니다. 도면에는 벽·창문·출입문 같은 구조 요소, 거실·침실·주방 같은 공간 정보, 변기·세면대 같은 설비 객체, 도면 문자까지 서로 다른 성격의 정보가 함께 담겨 있습니다.
벽과 문을 정확히 구분하더라도 공간 경계가 어긋나면 후속 처리 품질에 영향을 줄 수 있고, 문자 정보가 잘못 인식되면 도면의 의미 자체가 달라질 수 있어, 정보 단위별로 나누어 검증할 필요가 있었습니다. 또한 도면 분석에서 끝나지 않고 3D 출력 화면으로 이어지는 구조였기 때문에, 분석 정확도뿐 아니라 결과 화면까지 걸리는 시간도 함께 확인해야 했습니다.
와이즈스톤은 구조 요소, 공간 영역, 설비 객체, 문자 인식, 출력 반환 시간 다섯 가지 기준으로 나누어 평가했습니다. 구조 요소 분석은 실내 도면 데이터를 대상으로 벽·창문·출입문에 대한 AI 세그멘테이션 결과를 정답 데이터와 비교해 클래스별·전체 평균 mAP50을 산출했습니다.
공간 영역 분석은 거실·침실·주방·화장실 등 다수의 공간 클래스를 대상으로 예측 마스크와 정답 마스크의 중첩도(mIoU)를 계산했습니다. 설비 객체 분석은 변기·세면대·싱크대 등 상대적으로 작게 표현되는 객체를 별도 기준으로 평가했습니다.
문자 인식은 도면 내 문자 위치·영역·내용이 라벨링된 데이터를 학습된 인식 모델에 입력해 CER을 산출했습니다. 마지막으로 2D 도면 업로드 후 3D 도면 출력이 완료되기까지의 시간을 반복 측정해 평균 반환 시간을 산출했습니다.
৹ 벽·창문·출입문 등 구조 요소의 인식 정확도(mAP50)
৹ 공간 클래스별 예측 마스크와 정답 마스크의 중첩 수준(mIoU)
৹ 설비 객체(변기·세면대·싱크대 등)의 인식 정확도
৹ 도면 내 문자 인식 결과의 오류율(CER)
৹ 2D 도면 업로드 후 3D 도면 출력 완료까지의 평균 반환 시간
G사는 이번 검증을 통해 2D 건축 도면에서 구조, 공간, 설비, 문자 정보를 각각 목표 수준으로 분석하고, 3D 출력까지의 반환 시간도 기준을 충족함을 확인했습니다. 와이즈스톤은 도면 분석 품질을 하나의 정확도로 단순화하지 않고, 도면을 구성하는 정보 단위와 반환 시간을 나누어 실제 활용에 필요한 품질을 검증했습니다.