[논문리뷰]Vision language models are blind

논문 정보

논문 제목: Vision language models are blind
발행일: 2024.07.12(금)

최신 비전 언어 모델(VLM), 정말로 '눈이 먼' 걸까?

최근 몇 달 사이 GPT-4V(ision) 같은 비전 언어 모델(VLM)의 등장으로 이미지-텍스트 처리 서비스가 급증했습니다. VLM은 이미지 속 객체를 정확하게 식별하고 이를 바탕으로 복잡한 작업을 수행할 수 있어 매우 유용한 도구로 인식됩니다. 예를 들어, 사진과 메뉴판 이미지를 바탕으로 테이블 위 맥주 비용을 계산하는 것처럼 말이죠. 하지만 이 VLM이 정말 인간처럼 이미지를 잘 인식할까요? 이 질문에 대한 답을 찾기 위해 "BlindTest"라는 새로운 벤치마크 테스트를 사용하여 VLM의 한계를 탐구한 흥미로운 논문이 나왔습니다.

주요 문제!

논문에 따르면 VLM은 고수준의 비전 벤치마크에서 뛰어난 성과를 보이지만, 기본적인 시각적 과제에서는 생각보다 성능이 저조합니다. 예를 들어, 두 선의 교차점을 세거나, 원의 상태를 확인하는 간단한 작업에서 VLM은 여전히 어려움을 겪습니다. 이는 실생활 시나리오에서 VLM을 실용적으로 적용하는 데 큰 장애물입니다.

사용된 VLM 모델

• GPT-4o
• Gemini-1.5 Pro
• Claude-3 Sonnet
• Claude-3.5 Sonnet

BlindTest 벤치마크 소개

BlindTest는 인간에게는 직관적이고 쉬운 7가지 시각적 과제를 통해 VLM의 성능을 평가합니다. 아래는 몇 가지 대표적인 과제와 그 결과입니다.

 

과제 1: 교차점 수 세기

 

두 개의 선이 몇 번 교차하는지 묻는 간단한 작업입니다.

• 결과
  
  • GPT-4o 48.67%
  • Gemini-1.5 Pro 69.67%
  • Sonnet-3 64.00%
  • Sonnet-3.5 77.33%
• 평가: 모든 모델이 이 작업에서 어려움을 겪었으며, 특히 GPT-4o는 매우 낮은 성능을 보였습니다.

 

과제 2: 두 원의 상태 확인

두 원이 서로 접촉하거나 겹치는지 확인하는 작업입니다.

• 결과
  • GPT-4o 72.69%
  • Gemini-1.5 Pro 92.78%
  • Sonnet-3 84.52%
  • Sonnet-3.5 91.66%
• 평가: Gemini-1.5 Pro와 Sonnet-3.5가 우수한 성능을 보였으나, 여전히 개선의 여지가 있습니다.

 

과제 3: 동그라미 친 문자 확인

 

문자열에서 동그라미 친 문자를 인식하는 작업입니다.

• 결과
  • GPT-4o 70.18%
  • Gemini-1.5 Pro 92.81%
  • Sonnet-3 73.34%
  • Sonnet-3.5 89.22%
• 평가: Gemini-1.5 Pro와 Sonnet-3.5가 우수한 성능을 보였으나, 모든 모델이 여전히 어려움을 겪었습니다.

 

과제 4: 겹치는 도형 세기

 

중첩된 도형의 수를 세는 작업입니다.

• 결과
  • GPT-4o 42.50%
  • Gemini-1.5 Pro 20.83%
  • Sonnet-3 31.66%
  • Sonnet-3.5 44.16%
• 평가: 대부분의 모델이 이 작업에서 낮은 성능을 보였으며, 특히 Gemini-1.5 Pro가 매우 낮은 성능을 보였습니다.

 

과제 5: 중첩된 사각형 세기

 

중첩된 사각형의 수를 세는 작업입니다.

• 결과
  • GPT-4o 48.33%
  • Gemini-1.5 Pro 80.00%
  • Sonnet-3 55.00%
  • Sonnet-3.5 87.50%
• 평가: Sonnet-3.5가 가장 높은 성능을 보였으며, Gemini-1.5 Pro도 좋은 성능을 보였습니다.

 

과제 6: 그리드 행렬 세기

 

격자의 행과 열의 수를 세는 작업입니다.

• 결과
  • GPT-4o 39.58%
  • Gemini-1.5 Pro 35.79%
  • Sonnet-3 36.17%
  • Sonnet-3.5 74.26%
• 평가: 모든 모델이 어려움을 겪었으나, Sonnet-3.5가 상대적으로 높은 성능을 보였습니다.

 

과제 7: 단일 색상의 경로 따라가기

 

단색 경로를 따라가는 작업입니다.

• 결과
  • GPT-4o 45.89%
  • Gemini-1.5 Pro 40.01%
  • Sonnet-3 23.78%
  • Sonnet-3.5 50.18%
• 평가: 모든 모델이 낮은 성능을 보였으며, 특히 Sonnet-3이 가장 저조한 성능을 보였습니다.

 

종합 평가

과제	GPT-4o	Gemini-1.5 Pro	Claude-3 Sonnet	Claude-3.5 Sonnet
교차점 수 세기	48.67%	69.67%	64.00%	77.33%
두 원의 상태 확인	72.69%	92.78%	84.52%	91.66%
동그라미 친 문자 확인	70.18%	92.81%	73.34%	89.22%
겹치는 도형 세기 (원)	42.50%	20.83%	31.66%	44.16%
겹치는 도형 세기 (펜타곤)	19.16%	9.16%	11.66%	75.83%
중첩된 사각형 세기	48.33%	80.00%	55.00%	87.50%
그리드 행렬 세기	39.58%	35.79%	36.17%	74.26%
단일 색상의 경로 따라가기	45.89%	40.01%	23.78%	50.18%

 

Sonnet-3.5 모델이 대부분의 과제에서 높은 정확도를 보이며 가장 뛰어난 성능을 보여주었습니다. 특히, 단순한 시각적 작업에서 더 나은 성능을 발휘하는 경향을 보였습니다. 반면, Gemini-1.5 Pro는 몇몇 과제에서 높은 성과를 보였으나 일관된 성능을 유지하는 데 어려움을 겪었습니다. GPT-4o와 Sonnet-3는 대체로 낮은 성능을 보였지만, 특정 과제에서 양호한 결과를 나타내기도 했습니다.

이 실험을 통해 VLM이 단순한 시각적 작업에서도 어려움을 겪을 수 있음을 확인할 수 있었습니다. 따라서 VLM의 시각적 인식 능력을 향상시키기 위한 지속적인 연구가 필요합니다.

 

결론 및 전망

실험 결과, 모든 VLM은 간단한 시각적 작업에서도 일관되게 낮은 성능을 보였습니다. 이는 VLM이 세부적인 시각 정보를 정확하게 인식하는 데 어려움을 겪고 있음을 보여줍니다. 특히, BlindTest는 VLM의 시각적 인식 능력을 평가하는 중요한 도구로, VLM의 한계를 명확히 밝혀주었습니다.

따라서 VLM이 인간 수준의 시각적 인식 능력을 갖추기 위해서는 더 많은 개선이 필요합니다. 이를 위해 초기 융합(early fusion) 접근법을 사용하는 등의 새로운 연구가 필요합니다. 또한, 훈련 데이터를 다양화하여 VLM의 성능을 향상시키는 것도 중요할 것 같습니다!

 

 

참고 자료: 파이토치 한국 사용자 모임 및 VLMs are Blind Github

실험에 사용된 데이터셋