About M-LLM(with.BLIP-2)

1. M-LLM 정의

2. 대표예시인 BLIP-2소개

3. BLIP-2 핵심구조

4. BLIP-2 학습 전략

5. BLIP-2가 수행 가능한 태스크

6. BLIP-2 제한사항

---

[1. M-LLM정의]

M-LLM (Multimodal Large Language Model)은 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 함께 처리할 수 있는 대형 언어 모델이다. 기존의 LLM(GPT-3, T5 등)은 텍스트만 입력받아 처리하지만, M-LLM은 여러 모달의 데이터를 통합적으로 이해하고 자연어로 응답할 수 있다.

✨ M-LLM의 조건

• LLM 기반: 텍스트 생성 능력을 갖춘 대형 언어 모델 포함
• 멀티모달 입력: 텍스트와 이미지, 오디오 등을 함께 입력 가능
• 추론 능력: 단순 매칭을 넘어서 복합적인 reasoning 수행

🔹 대표 예시

• GPT-4V (OpenAI)
• Gemini (Google)
• Flamingo (DeepMind)
• BLIP-2 (Salesforce)
• LLaVA, MiniGPT-4 등

---

[2. M-LLM의 대표 예시: BLIP-2]

🔍 BLIP-2란?

BLIP-2는 Salesforce에서 2023년에 발표한 M-LLM으로,
이미지 인식 모델(Image Encoder)과 대형 언어 모델(LLM) 사이를 연결해
이미지를 이해하고 텍스트로 설명하거나 질문에 답변하는 멀티모달 모델이다.

BLIP-2는 M-LLM의 핵심 개념인 "다양한 모달(이미지+텍스트)을 LLM을 중심으로 통합하고 추론할 수 있는 구조"를 매우 효율적으로 실현한 구조를 가지고 있다.

BLIP-2는 기존 방법보다 훨씬 적은 수의 훈련 가능한 매개변수에도 불구하고 다양한 비전 언어 작업에서 최첨단 성능을 달성한다.

[BLIP-2의 주요 장점]

• BLIP-2는 사전 학습된 이미지 모델과 언어 모델을 모두 효과적으로 활용한다. 반복 학습 단계와 생성 학습 단계의 두 단계로 사전 학습된

Q-Former를 사용하여 양식 간 격차를 해소한다. BLIP-2는 visual question answering(시각적 질문 답변), image captioning, image-text retrieval(이미지 텍스트 검색 )등 다양한 시각 언어 작업에서 최첨단 성능을 달성한다.

 

• LLM을 기반으로 하는 BLIP-2는 자연어 지시를 따르는 zero-shot image-to-text생성을 수행하여 visual knowledge reasoning(시각 지식 추론), visual conversation(시각 대화)등과 같은 새로운 기능을 구현할 수 있다(그림참조)

• BLIP-2는 frozen unimodal모델과 경량 Q-Former를 사용하기 때문에 기존 최신 모델보다 컴퓨팅 효율이 높다. 예를 들어, BLIP-2는 제로 샷 VQAv2에서 플라밍고(Alayrac et al., 2022)보다 8.7% 성능이 뛰어나면서도 훈련 가능한 파라미터는 54배 더 적게 사용한다. 또한, 연구 결과에 따르면 BLIP-2는 더 나은 VLP 성능을 위해 더 진보된 unimodal 모델을 수확할 수 있는 일반적인 방법이라는 것을 보여준다.

 

---

[3. BLIP-2 핵심구조]

구성 요소	설명	학습 여부
Image Encoder	이미지를 벡터로 표현	❄️ Frozen
Q-Former	학습 가능한 쿼리 벡터 세트를 사용하여 정지된 이미지 인코더에서 시각적 특징을 추출하는 경량 트랜스포머	✅ 학습 대상
LLM	자연어 처리 및 생성	❄️ Frozen

• 기존 LLM/비전 모델(Image Encoder)은 건드리지 않고, 중간 연결(Q-Former)만 학습
• 다양한 LLM (FlanT5, OPT, Vicuna 등)과도 쉽게 결합 가능 → 모듈형 구조

기존 방식과 달리 BLIP-2는 다양한 비전 언어 작업에 고정 이미지 인코더와 고정 LLM을 효과적이고 효율적으로 활용할 수 있어 더 낮은 연산 비용으로 더 강력한 성능을 달성할 수 있다.

---

[4. BLIP-2 학습 전략]

BLIP-2는 크게 두 단계의 학습을 거친다:

1. 시각-언어 표현 학습 (Stage 1) 

BLIP-2의 Q-Former는 Self-Attention + Cross-Attention을 조합해서 학습 목표에 따라 마스크 패턴을 달리하여 쿼리 벡터가 필요한 정보에 집중하도록 유도한다.

• 세 가지 학습 목표: 
  
  • Bi-directional Self-Attention Mask (Image-Text Matching):
    • 이미지와 텍스트 간의 관련성을 학습하는 목표입니다.
    • 이미지의 쿼리 토큰(Q)과 텍스트 토큰(T) 간의 양방향 정보 교환을 허용합니다.
    • 즉, 모든 토큰이 서로 상호작용하며 이미지와 텍스트의 의미적 연결을 학습합니다.
  • Multi-modal Causal Self-Attention Mask (Image-Grounded Text Generation):
    • 이미지를 기반으로 텍스트를 생성하는 목표입니다.
    • 텍스트 토큰(T)은 이전 텍스트 토큰과 쿼리 토큰(Q)의 정보만 참조할 수 있습니다.
    • 이는 언어 모델의 인과적 특성을 모방하여 자연스러운 텍스트 생성을 유도합니다.
  • Uni-modal Self-Attention Mask (Image-Text Contrastive Learning):
    • 이미지와 텍스트의 표현 공간을 일치시키는 목표입니다.
    • 쿼리 토큰(Q)은 쿼리 토큰끼리, 텍스트 토큰(T)은 텍스트 토큰끼리만 상호작용합니다.
    • 이는 유사한 이미지-텍스트 쌍의 표현을 가깝게, 다른 쌍의 표현을 멀게 학습하여 표현 공간을 정렬합니다.

2. 텍스트 생성 능력 강화 (Stage 2)

• Q-Former:
  • 이미지 인코더에서 추출된 시각적 특징을 입력받아, 언어 모델이 이해할 수 있는 형태의 쿼리 벡터를 생성
• Fully Connected (Projection Layer):
  • Q-Former에서 생성된 쿼리 벡터를 LLM의 입력 형식에 맞게 변환하는 역할을 한다.
  • 즉, 쿼리 벡터의 차원을 LLM의 텍스트 임베딩 차원으로 선형 변환(Linear Projection)하는 것이다.
• LLM (Large Language Model):
  • 변환된 쿼리 벡터를 입력받아 텍스트를 생성한다.
  • BLIP-2에서는 LLM을 고정(frozen)시키고, Q-Former와 Fully Connected 레이어만 미세 조정(fine-tuning)하여 텍스트 생성 능력을 향상시킨다.

---

[5. BLIP-2가 수행 가능한 태스크]

• 이미지 캡셔닝 (Image Captioning)
• 이미지 기반 질의응답 (VQA)
• 지식기반 추론 (Visual Reasoning)
• 제로샷 질의응답

---

[6. BLIP-2 제한사항]

1. 제한된 미세 조정 능력:

• BLIP-2는 사전 훈련된 이미지 인코더와 LLM을 frozen하여 사용한다다. 이는 모델의 효율성을 높이지만, 특정 작업에 맞게 모델을 미세 조정하는 데 제한을 줄 수 있다.
• 특히, 특수한 시각적 특징이나 복잡한 언어적 뉘앙스가 필요한 작업에서는 성능 저하가 발생할 수 있다.

2. 쿼리 트랜스포머(Q-Former)의 의존성:

• BLIP-2는 이미지와 언어 사이의 간극을 메우기 위해 Q-Former라는 추가적인 모듈을 사용한다.
• 이 모듈은 모델의 복잡성을 증가시키고, 추가적인 학습 및 연산 자원을 필요로 한다.
• Q-Former의 성능은 전체 모델의 성능에 큰 영향을 미치므로, 이 부분에 대한 최적화가 중요하다.

3. 일반화 능력의 한계:

• BLIP-2는 다양한 시각 언어 작업에서 좋은 성능을 보이지만, 여전히 일반화 능력에 한계를 보일 수 있다.
• 특히, 학습 데이터에 존재하지 않는 새로운 유형의 이미지나 언어적 표현에 대해서는 취약점을 드러낼 수 있다.
• 실제 환경에서의 다양한 변수와 복잡성을 고려할 때, 모델의 견고성을 높이기 위한 추가적인 연구가 필요하다.

4. 계산 비용:

• BLIP-2는 사전 훈련된 대규모 모델을 사용하므로, 여전히 상당한 계산 자원을 필요로 한다.
• 특히, 고해상도 이미지를 처리하거나 복잡한 언어적 추론을 수행할 때 계산 비용이 증가할 수 있다.
• 모델의 효율성을 높이기 위한 추가적인 경량화 및 최적화 연구가 필요하다.

5. 이미지 인코딩의 한계:

• 사전 훈련된 이미지 인코더의 성능은 전체 모델의 성능에 큰 영향을 미친다.
• 만약 사용된 이미지 인코더가 특정 유형의 이미지에 편향되어 있거나, 중요한 시각적 특징을 제대로 포착하지 못한다면, BLIP-2의 성능 또한 저하될 수 있다.

이러한 단점들을 고려하여 BLIP-2 모델을 다양한 시각 언어 작업에 적용할 때, 모델의 강점과 약점을 명확히 이해하고 적절한 후처리 및 미세 조정 전략을 수립하는 것이 중요하다.