| 생성형 인공지능 | ||
| {{{#!wiki style="margin:-0px -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px; word-break:keep-all" | 텍스트 | [[소설| 소설 ]] NovelAI · AI Dungeon · AI 노벨리스트 |
| 대화형 | [[챗봇| 챗봇 ]] ChatGPT · Microsoft Copilot · Gemini · CLOVA X · Cue: · Inflection AI · Mistral AI | |
| [[언어 모델| 언어모델 ]] GPT-1 · GPT-2 · GPT-3 · GPT-4 · | ||
| 코드 | [[코드#컴퓨터 소프트웨어| 코드 ]] GitHub Copilot · Devin · Phind | |
| 그림/영상 | [[그림 인공지능| 그림 ]] Midjourney · DALL·E · Artbreeder · NovelAI Image Generation · Stable Diffusion · Gaugan2 · Dream by WOMBO · Adobe Firefly · Deep Dream Generator | |
| [[영상| 영상 ]] Stable Video · Sora · Lumiere · Veo · Runway AI | ||
| [[모델링| 모델링 ]] LATTE3D | ||
| 오디오/소리 | [[음성| 음성 ]] A.I.VOICE · DeepVocal · Voice Engine | |
| [[음악| 음악 ]] Suno AI · Stable Audio · Udio · AIVA · SOUNDRAW · keeneat · Mix.audio · vio.dio | ||
| 멀티모달 | [[멀티모달 모델| 멀티모달 ]] 삼성 가우스 · Gemini | |
| 행위/동작 | [[인공지능 로봇| 로봇 ]] Robot Operating Syetem(ROS) · Google RT-X · 피규어 01 · 프로젝트 그루트 | }}}}}}}}} |
| LLaMA Large Language Model Meta AI | |
| 공개일 | 2023년 2월 24일 |
| 제작사 | 메타 |
| 기능 | 언어모델 |
| 인프라 | NVIDIA GPU, MTIA 등 |
| 링크 | |
[clearfix]
1. 개요
LLaMA는 메타의 오픈소스 언어모델이다.2. 제품
2.1. LLaMA-1
2023년 2월 24일에 공개했다. 매개변수는 70억부터 650억 개 버전까지 존재한다. 학계를 대상으로 오픈소스로 공개하면서 알파카, 비쿠냐 등 수 많은 파생형 모델들의 탄생에 기여했다.2.2. LLaMA-2
2023년 7월 18일에 공개되었다. 매개변수는 70억부터 시작하지만, 상당한 고성능인 700억 개 짜리 모델까지 학계뿐만 아니라 기업 등 상용으로도 공개하여 큰 주목을 받고 있다. 특히 마이크로소프트와 우선 계약을 체결하여 큰 화재를 모았는데, 메타와 마이크로소프트 둘 다 2010년대 중반까지만 해도 상당히 폐쇄적인 운영을 해왔기에 개발자들은 놀라움을 자아내고 있는 상황이다.[1][2]
2.3. LLaMA-3
2024년 4월 18일 공개되었다. 우선적으로 매개변수 80억개와 700억개 버전을 풀었으며, meta.ai를 통해 영미권 국가들을 우선 대상으로 인스타그램 등 자사 플랫폼에 챗봇이 도입된다.2.4. 파생형 모델
3. 인프라
원래 엔비디아의 GPGPU 자원을 통해 인프라를 구축했으나, 생산 차질로 인한 공급 이슈와 높은 가격, 비효율적인 전력 소모를 이유로 2023년 5월에 자사 첫 인공지능 가속기인 MTIAv1을 공개하면서 ASIC 방식 개발에 열을 올리고 있다. 연산 칩을 RISC-V 기반으로 커스텀 설계하여 64개의 각 그리드별로 다른 연산을 동시에 수행할 수 있다. 또한 SRAM을 캐시처럼 활용하는 방식을 택했고, 오프칩은 LPDDR5 DRAM을 탑재했다. 소프트웨어도 CUDA를 벗어나, 자사 라이브러리인 PyTorch를 통해 컴파일러, 커널, 스트리밍API, 드라이버까지 독자 생태계 구축을 가속화시키고 있다.4. 학습 데이터
1조 4,000억 개의 토큰으로 학습되었다고 한다. 페이스북, 인스타그램 등 자사 패밀리앱 외에도 웹스크래핑/크롤링, 깃허브 코드, 위키피디아 텍스트, 퍼블릭 도메인 서적, LaTeX 코드로 작성된 논문, 질문질답 텍스트 등으로 학습되었다고 한다.[1] 마이크로소프트는 스티브 발머 시절에 모바일 시장에서 쓴 맛을 보며 둔화기를 맞았는데, 사티아 나델라 재임 이후 주력 사업을 클라우드 컴퓨팅으로 전환하면서 깃허브를 인수하는 등 직면한 위기를 타개하기 위한 목적으로 오픈소스로서의 전환을 선택한다. 2020년대에도 직접적인 연구개발보다는 OpenAI, Inflection AI 등에 투자하는 방식을 통해 자사 제품을 결합시키고 있다.[2] 메타도 생성형 인공지능 분야에서 OpenAI, 구글에게 뒤쳐지면서 라마의 오픈소스화를 전략적으로 선택한 것이다. 후발주자인 만큼, 오픈소스를 통해 빠른 생태계 확장을 추구한다.