Challenge

K사는 X-Ray 영상 속 위험 물품을 판독하고 종류·위치 정보를 반환하는 AI 기능을 연구하고 있었습니다. X-Ray 영상은 물체 형태가 뚜렷하게 드러나지 않고, 여러 물품이 겹쳐 보이거나 촬영 각도에 따라 같은 물품도 다르게 나타날 수 있어, 위험 물품의 존재 여부뿐 아니라 종류와 위치를 함께 정확히 짚어내야 했습니다.

학습 데이터에만 익숙해진 모델이라면 새로운 이미지에서 결과가 불안정해질 수 있다는 점도 검증이 필요한 지점이었습니다. 여기에 여러 이미지를 연속으로 처리할 수 있는 판독 속도, 다양한 위험 물품에 대응 가능한 탐지 범위까지 균형 있게 확인해야 했습니다.

Testing Approach

와이즈스톤은 객체 판독 정확도, 학습 데이터와 분리된 이미지에 대한 판독 성능, 판독 소요 시간, 탐지 가능 Class 범위 네 가지 기준으로 나누어 검증했습니다. 객체 판독 정확도는 특정 조건의 X-Ray 이미지를 대상으로, AI가 예측한 위험 물품의 종류와 바운딩 박스 정보를 정답 데이터와 비교해 IoU 기준 AP 및 mAP를 산출했습니다.

이와 별도로 학습에 사용되지 않은 이미지를 대상으로 동일한 방식의 mAP를 다시 산출해, 모델이 새로운 이미지에서도 판독 성능을 유지하는지 확인했습니다. 판독 소요 시간은 판독 시작부터 결과 반환까지의 시간을 측정해 평균값을 산출했으며, 탐지 가능한 물품 범위는 중복되지 않는 Class 개수를 기준으로 확인했습니다.

What We Tested

• ৹ 특정 조건의 X-Ray 이미지에 대한 객체 판독 정확도(mAP)

• ৹ 학습 데이터와 분리된 이미지에 대한 판독 성능

• ৹ 객체 판독 시작부터 결과 반환까지의 평균 소요 시간

• ৹ 탐지 가능한 위험 물품 Class 범위

Results & Value

K사는 이번 검증을 통해 X-Ray 영상 속 위험 물품을 AI가 자동으로 판독하고, 학습 데이터와 분리된 새로운 이미지에서도 안정적인 성능을 낼 수 있음을 확인했습니다. 와이즈스톤은 정확도, 처리 시간, 탐지 범위를 나누어 검토해 X-Ray 판독 기능의 품질을 실제 운용 관점에서 구체적으로 검증했습니다.