글
구글 제미나이(Google Gemini) 1.5
- Gemini는 언어, 이미지, 오디오, 비디오, 코드 등 다양한 유형의 정보 처리가 가능한 멀티모달형 모델로 길고 방대한 양의 다양하고 복잡한 정보를 정교하게 이해하고 추론할 수 있다는 점입니다.
-인공지능이 프롬프트를 처리하는 기본 단위를 ‘토큰’이라 말하는데요, Gemini 1.5 Pro는 무려 최대 2백만(!) 토큰까지 처리할 수 있어 긴 문맥의 프롬프트를 처리 할 수 있습니다. 여기서 말하는 2백만 토큰의 처리량은 최대 2시간 분량의 영상, 6,000장 분량의 이미지, 60,000줄 분량의 코드 또는 책 2,000페이지, 약 22시간 분량의 오디오로 환산될 수 있습니다.
- Gemini는 구글의 AI 최적화 TPU(Tensor Processing Unit)를 활용: TPU는 구글이 개발한 하드웨어 가속기로 딥러닝 모델을 효율적으로 학습하고 실행하는데 최적화된 프로세서
- Gemini 모델같은 대규모 언어 모델(LLM)은 수십억 개 이상의 파라미터(인공 지능 모델이 학습을 통해 조정하는 내부 값)를 가지고 있고 이를 학습시키고 추론하는데 많은 연산 자원을 필요로 합니다. TPU는 대규모 병렬 처리를 통해 학습 속도를 극적으로 향상하면서 빠른 추론 속도로 응답할 수 있습니다.
-Gemini 1.5 Pro에는 MoE(Mixture of Experts) 아키텍처를 적용했는데요, MoE 아키텍처란 다양한 딥러닝 모델의 최신 연구로 주목받고 있는 방법으로, 여러 전문가(Experts) 모델이 협력하여 최적의 결과를 도출하는 방식입니다. MoE 아키텍처는 여러 개의 전문가 모델로 구성되어있고 각각의 모델은 특정 유형의 입력 데이터나 작업에 특화된 능력을 가지고 있습니다. 주어진 입력(Input)에 대해 데이터의 특성을 분석하고, 그에 가장 적합한 전문가 모델을 선택 및 조합합니다. MoE 아키텍처에서는 모든 전문가 모델을 동시에 사용하는 것이 아니므로 메모리 사용량은 줄어들고 계산의 효율성은 높일 수 있습니다.
-
댓글 없음:
댓글 쓰기