보기 좋은 편집과 정확한 편집을 나눠 검사한다
2026년 10월 20일 공개된 ABACUS 논문은 이미지에 물체를 추가·삭제하거나 범주를 바꿀 때 정확한 수와 원래 장면의 보존을 함께 검사하는 평가 방식을 제시했다. 예를 들어 물체 세 개를 추가하라는 지시를 받았더라도 기존 물체를 바꾸거나 배경의 물체를 지웠다면 성공으로 처리하지 않는 접근이다. 논문의 공개 기록에는 WACV 2027의 Evaluations & Datasets 트랙 채택이 명시되어 있다. 새 이미지 생성 모델이 출시된 소식이 아니라 검수 기준이 구체화된 연구 소식이다.
평가자도 수를 잘 세는지 확인해야 한다
평가 절차는 분할 정답과 검출기 간 합의를 활용해 개별 물체의 상태를 확인한다. VLM이 직접 수를 세거나 최종 편집 점수를 매기지 않는다는 점이 핵심이다. 다만 드물게 모호한 잘린 이미지의 범주를 확인하는 보조 과정에는 VLM을 사용하므로, 모든 단계에서 언어 모델을 없앴다고 표현해서는 안 된다.
이 벤치마크는 COCO의 80개 물체 범주를 대상으로 하며 모든 종류의 이미지 편집을 대표하지 않는다. 특히 논문 속 상용 API 실험은 2026년 6월과 8월에 수행됐다. 10월에 공개된 논문이라는 이유로 최신 모델 전체의 현재 순위를 증명한다고 읽으면 안 된다. 실무에서는 생성 결과의 미감, 요청한 개수, 기존 물체 보존과 배경 변경을 별도 체크리스트로 나누는 것이 유용하다. 자동 점수가 높더라도 수량이 중요한 상품 이미지나 안내 자료는 사람이 최종 개수를 다시 확인해야 한다.