JAX(라이브러리)

딥 러닝 라이브러리
{{{#!wiki style="margin:0 -10px -5px; min-height:calc(1.5em + 5px)" {{{#!folding [ 펼치기ㆍ접기 ] {{{#!wiki style="margin:-5px -1px -11px"
PyTorch	TensorFlow	Keras	JAX

<colcolor=#000000,#ffffff> JAX
버전	0.8.1 2025년 11월 19일 업데이트
공개일	2020년 5월 8일
|

1. 개요

2. 특징

• 자동 미분(Autograd) 기능을 기본 제공하며, Python/Numpy 코드만으로도 고성능 미분 계산을 수행할 수 있다.
• XLA 컴파일러 기반으로, GPU·TPU에서 연산 그래프를 JIT 컴파일하여 매우 빠르게 실행할 수 있다.
• NumPy 스타일 API을 제공하여 학습 곡선이 낮다.
• 함수 변환(transformations)을 통한 연산 병렬화 및 벡터화가 편리하다.

3. 장점

• 빠른 실행 속도: XLA 컴파일 최적화를 통해 PyTorch 대비 큰 가속 이득을 얻는 경우가 많다.
• 함수형 프로그래밍 스타일 지원: 불변성 기반 설계로 병렬 처리 및 최적화에 유리하다.
• NumPy에 친숙한 인터페이스: 기존 NumPy 코드를 거의 그대로 사용 가능하다.
• 연구용 및 대규모 학습에 적합: 구글에서 만든 라이브러리답게, Google DeepMind가 메인 연구 플랫폼으로 사용하여 대규모 학습에 적합하도록 설계되어있다.
• TPU 친화적: TPU를 성능을 최대한 끌어내고 호환하여 TPU를 이용한 연구시 채택률이 높다.

4. 단점

• 난해한 에러 메시지: XLA 컴파일 과정에서 발생하는 오류는 디버깅이 어렵다.
• 불편한 동적 연산: PyTorch보다 동적 그래프 유연성이 떨어진다.
• 좁은 생태계: PyTorch처럼 다양한 Third-party 라이브러리가 부족하다.
• 가파른 학습곡선: 함수형 패러다임에 익숙하지 않으면 적응이 필요하다.

5. 샘플 코드

5.1. 기본 예제

#!syntax python
import jax
import jax.numpy as jnp

# 함수 정의
def f(x):
    return jnp.sin(x) * jnp.cos(x)

# 자동 미분
grad_f = jax.grad(f)

print(grad_f(1.0))   # → 0.23924997

5.2. JIT 컴파일

#!syntax python
import jax
import jax.numpy as jnp

@jax.jit
def matmul(x, y):
    return jnp.dot(x, y)

x = jnp.ones((1000, 1000))
y = jnp.ones((1000, 1000))

print(matmul(x, y))   # 첫 실행에서 런타임 단계 컴파일이 수행되고 나서 부터는 실행시 굉장히 빠르다.

5.3. vmap(자동 벡터화)

#!syntax python
import jax
import jax.numpy as jnp

def square(x):
    return x * x

v_square = jax.vmap(square)

print(v_square(jnp.arange(5)))
# [0, 1, 4, 9, 16]

6. 다른 딥러닝 프레임워크 비교

7. 활용 사례

• Google DeepMind의 주요 연구 라이브러리로 사용된다.
• AlphaFold, MuZero, DreamerV3 등의 강화학습/시뮬레이션 모델 구축에서도 사용되었다.

8. 비판 및 논란

• 문서 및 튜토리얼 부족으로 입문 장벽이 존재한다는 지적이 많다.
• XLA 컴파일 오류 디버깅이 어렵고 PyTorch보다 불편하다는 의견도 종종 보인다.

9. 같이 보기

• XLA
• PyTorch
• TensorFlow
• Flax: JAX용 신경망 라이브러리
• MaxText: Google TPU 기반 LLM 학습 프레임워크