들어가며
얼마 전 AI 이미지 채우기를 하며 놀다가 손가락 쪽이 이상하게 생성돼서 슬펐다. 왜 그럴까..
1. 손은 작지만 정보 밀도가 높다
손은 이미지 안에서 보통 작은 영역을 차지한다. 얼굴보다 작게 나오고, 옷이나 물건에 가려지고, 카메라 구도에 따라 일부만 보이는 경우도 많다. 그런데 그 작은 영역 안에 들어 있는 정보는 생각보다 많다.
손에는 손목, 손바닥, 손가락, 마디, 손톱, 주름, 힘줄, 관절 방향이 있다. 손가락들이 단순히 나란히 붙어 있는 것도 아니다. 엄지는 다른 방향으로 움직이고, 손가락은 서로 겹치고, 어떤 손가락은 접히고, 어떤 손가락은 물체 뒤로 숨는다. 손이 컵을 잡을 때와 키보드를 칠 때, 주먹을 쥘 때와 얼굴을 가릴 때의 구조도 완전히 다르다.
즉 손은 작지만 구조적으로는 굉장히 복잡한 대상이다.
이게 중요한 이유는, 이미지 생성 모델이 전체 장면을 그럴듯하게 만드는 능력과 손의 해부학적 구조를 정확히 유지하는 능력이 같은 문제가 아니기 때문이다. 전체 이미지의 분위기, 색감, 질감은 꽤 좋아 보여도, 손가락 하나가 잘못 붙으면 사람 눈에는 바로 이상하게 보인다.
2. AI는 손가락을 세서 그리지 않는다
사람은 손을 볼 때 인체 구조적 지식을 강하게 적용한다.
하지만 이미지 생성 모델이 항상 이런 방식으로 손을 이해한다고 보기는 어렵다.
텍스트-이미지 생성 모델, 특히 확산 모델은 대략적으로 말하면 노이즈에서 출발해 이미지를 점진적으로 복원한다. 처음에는 흐릿한 전체 구도와 색감이 잡히고, 이후 점점 질감과 세부 형태가 생긴다. 이 과정에서 모델은 학습 데이터에서 본 수많은 이미지의 패턴을 바탕으로 “이 프롬프트라면 이런 픽셀 배치가 그럴듯하다”는 방향으로 이미지를 만들어간다.
그럴듯한 손의 픽셀 패턴과 해부학적으로 정확한 손이 항상 일치하지는 않는다.
더 정확히는, 모델이 손을 “독립된 손가락이 손바닥에 올바르게 연결된 3차원 구조”로 항상 안정적으로 유지하지 못한다고 보는 편이 낫다.
3. 손은 국소 영역인데, 전역 일관성이 필요하다
손이 어려운 또 다른 이유는 손이 작은 국소 영역이면서도 전역적인 일관성을 요구하기 때문이다.
손가락 하나만 따로 보면 그럴듯할 수 있다. 짧은 선, 피부색, 손톱, 주름, 그림자 같은 요소는 잘 만들어질 수 있다. 하지만 손 전체로 보면 문제가 생긴다. 이 손가락이 어느 손바닥에 연결되는지, 몇 번째 손가락인지, 다른 손가락 뒤에 있는지 앞에 있는지, 손목 방향과 맞는지까지 동시에 맞아야 한다.
이건 단순한 질감 문제가 아닌, 구조 문제이다.
예를 들어 손가락 하나를 자연스럽게 그리는 것과, 손가락이 각기 다른 각도로 접힌 상태에서 컵을 감싸는 장면을 정확히 그리는 것은 난이도가 다르다. 후자는 손가락 개수뿐 아니라 깊이, 가림, 접촉, 힘의 방향, 물체와의 관계까지 맞아야 한다.
그래서 손은 작은 디테일이 아니라 작은 영역에 압축된 구조 문제에 가깝다.
이미지 생성 모델이 전체적으로 보기 좋은 이미지를 만드는 데 성공해도, 이런 구조적 제약을 끝까지 유지하지 못하면 손에서 오류가 터진다. 마치 문장은 자연스러운데 괄호 짝이 안 맞는 코드와도 같다.
4. 데이터에도 손은 불리하다
학습 데이터 관점에서도 손은 까다롭다.
사람 얼굴은 사진에서 크고 선명하게 등장하는 경우가 많다. 정면 얼굴, 측면 얼굴, 웃는 얼굴, 다양한 조명과 각도의 얼굴 이미지가 대량으로 존재한다. 얼굴은 이미지의 중심 피사체가 되는 경우도 많다.
반면 손은 그렇지 않은 경우가 많다. 이미지 속 손은 작게 찍히거나, 흐릿하거나, 일부가 잘리거나, 물건에 가려져 있을 때가 많다. 손이 명확히 보이더라도 포즈가 너무 다양하다. 손등, 손바닥, 주먹, 브이, 집게손, 컵을 든 손, 얼굴을 가리는 손, 키보드를 치는 손, 악기를 연주하는 손은 모두 구조가 다르게 보인다.
즉 모델은 손을 많이 보긴 했지만, 손을 항상 깨끗하고 일관된 구조로 본 것은 아니다.
여기에 또 하나의 문제가 있다. 2D 이미지만 보면 실제 3D 구조를 정확히 알기 어렵다. 손가락 하나가 안 보이는 이유가 접혀서인지, 물체 뒤에 있어서인지, 원래 이상하게 생성된 것인지 이미지 한 장만으로는 애매할 수 있다. 사람은 경험과 신체 지식을 바탕으로 이를 보정해서 이해하지만, 생성 모델이 항상 그런 3D 신체 상식을 안정적으로 적용한다고 보기는 어렵다.
그래서 손은 데이터가 많아도 여전히 어렵다.
5. 평가 지표도 손 문제를 늦게 발견했다
이미지 생성 모델의 발전을 평가할 때는 오랫동안 전체 이미지 품질이 중요하게 다뤄졌다. 이미지가 얼마나 선명한지, 프롬프트와 잘 맞는지, 사람이 보기에 얼마나 자연스러운지, 다양한 스타일을 잘 따르는지 같은 기준이 중심이었다.
그런데 전체 이미지 품질이 높다고 해서 손이 정확하다는 뜻은 아니다.
예를 들어 배경, 조명, 얼굴, 옷, 색감이 모두 좋으면 사람은 이미지를 전반적으로 높게 평가할 수 있다. 하지만 손 영역만 따로 보면 손가락이 붙어 있거나, 관절이 이상하거나, 손바닥이 녹아 있는 경우가 있다. 전체 점수 하나로는 이런 결함이 묻힐 수 있다.
최근 손이나 인체 왜곡을 따로 평가하는 연구들이 등장한 이유도 여기에 있다. 이제는 “이미지가 좋아 보이는가?”만으로는 충분하지 않다. “사람의 몸이 구조적으로 말이 되는가?”, “손가락이 제대로 연결되어 있는가?”, “국소 영역의 품질이 사람 판단과 맞는가?” 같은 질문이 따로 필요해졌다.
6. 2026년 기준으로도 정말 그런가?
최신 모델들은 확실히 좋아졌다. 간단한 포즈의 손은 꽤 자연스럽게 나온다. 예전처럼 노골적인 수준은 아니다.
하지만 다음과 같은 상황에서는 여전히 오류가 잘 드러난다.
- 손이 작게 등장할 때
- 손가락이 서로 겹칠 때
- 물체를 쥐고 있을 때
- 여러 명의 손이 한 장면에 있을 때
- 손이 얼굴, 옷, 도구와 접촉할 때
- 특정한 제스처를 정확히 요구할 때
- 손이 화면 가장자리에서 잘릴 때
이런 장면에서는 단순한 질감 생성이 아니라 구조적 추론이 필요하다. 손가락이 몇 개인지, 어느 손가락이 앞에 있는지, 무엇을 잡고 있는지, 관절이 어느 방향으로 꺾이는지, 손목과 팔이 자연스럽게 이어지는지까지 맞아야 한다.
마치며
손은 작은 영역 안에 많은 구조 정보가 압축된 대상이다.
작아서 대충 넘어갈 수 있을 것 같지만, 사실 그 안에는 이미지 생성 모델이 세계를 얼마나 구조적으로 이해하고 있는지 묻는 문제가 들어 있다.
갑자기 손에 집착하게 되었는데.. 무튼 인체의 유기성은 참으로 신비하다~!