A100 Setup

#!/usr/bin/env bash
set -euxo pipefail

echo "🚀 MLX with CUDA 완전 설치 시작..."

## 0) 기본 의존성 설치
echo "📦 기본 의존성 패키지 설치..."
sudo apt-get update -y
sudo apt update -y
sudo apt-get install -y build-essential git wget curl python3.10-venv \\
                        pkg-config libopenblas-dev liblapack-dev
sudo apt-get install -y liblapack-dev libatlas-base-dev gfortran
sudo apt-get install -y liblapack-dev liblapack3 liblapack-dev liblapacke-dev

## 1) NVIDIA CUDA 12.4 & cuBLAS 설치
echo "🔧 NVIDIA CUDA 12.4 설치..."
sudo apt-get install -y gnupg ca-certificates
sudo mkdir -p /etc/apt/keyrings
curl -fsSL <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub> \\
  | sudo tee /etc/apt/keyrings/cuda.asc
echo "deb [signed-by=/etc/apt/keyrings/cuda.asc] \\
  <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/> /" \\
  | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4 \\
                        libcublas-12-4 libcublas-dev-12-4

# CUDA 환경변수 설정
export CUDA_HOME=/usr/local/cuda-12.4
echo 'export CUDA_HOME=/usr/local/cuda-12.4' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH'       >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

## 2) 파이썬 가상환경 설정
echo "🐍 Python 가상환경 설정..."
# 기존 가상환경이 있으면 제거
if [ -d ~/mlxenv ]; then
    echo "⚠️  기존 mlxenv 가상환경 제거..."
    rm -rf ~/mlxenv
fi

python3 -m venv ~/mlxenv
source ~/mlxenv/bin/activate
python3 -m pip install --upgrade pip

## 3) MLX 소스 완전 정리 및 다운로드
echo "🧹 MLX 소스 완전 정리..."
# 기존 MLX 디렉토리 완전 제거
if [ -d ~/mlx ]; then
    echo "⚠️  기존 MLX 디렉토리 제거..."
    rm -rf ~/mlx
fi

# pip 캐시 정리
python3 -m pip cache purge

# MLX 소스 다운로드
git clone <https://github.com/ml-explore/mlx.git> ~/mlx
cd ~/mlx

# 빌드 디렉토리 및 캐시 완전 정리
echo "🗑️  빌드 캐시 완전 정리..."
rm -rf build/ dist/ *.egg-info
git clean -fdx
find . -name "__pycache__" -type d -exec rm -rf {} + 2>/dev/null || true
find . -name "*.pyc" -delete 2>/dev/null || true

# 시스템 임시 파일 정리
sudo rm -rf /tmp/pip-* 2>/dev/null || true

## 4) CUDA 환경변수 재설정 (빌드 전 확인)
echo "🔍 CUDA 환경 확인..."
export CUDA_HOME=/usr/local/cuda-12.4
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

# CUDA 설치 확인
if ! command -v nvcc &> /dev/null; then
    echo "❌ CUDA 컴파일러(nvcc)를 찾을 수 없습니다!"
    exit 1
fi

echo "✅ CUDA 버전: $(nvcc --version | grep 'release' | awk '{print $5}' | cut -d',' -f1)"

# BLAS/LAPACK 라이브러리 확인
echo "🔍 BLAS/LAPACK 라이브러리 확인..."
ls -la /usr/lib/x86_64-linux-gnu/libopenblas.so* || {
    echo "❌ OpenBLAS 라이브러리를 찾을 수 없습니다!"
    exit 1
}

ls -la /usr/include/x86_64-linux-gnu/cblas.h || {
    echo "❌ CBLAS 헤더를 찾을 수 없습니다!"
    exit 1
}

## 5) MLX + CUDA 빌드 (성공한 설정 사용)
echo "🔨 MLX CUDA 빌드 시작..."
CMAKE_ARGS="-DMLX_BUILD_CUDA=ON \\
            -DCUDAToolkit_ROOT=$CUDA_HOME \\
            -DCMAKE_CUDA_COMPILER=$CUDA_HOME/bin/nvcc \\
            -DBLAS_LIBRARIES=/usr/lib/x86_64-linux-gnu/libopenblas.so \\
            -DLAPACK_LIBRARIES=/usr/lib/x86_64-linux-gnu/libopenblas.so \\
            -DBLAS_INCLUDE_DIRS=/usr/include/x86_64-linux-gnu \\
            -DLAPACK_INCLUDE_DIRS=/usr/include/x86_64-linux-gnu" \\
python3 -m pip install . -v --config-settings cmake.args="-j$(nproc)"

## 6) 추가 패키지 설치
echo "📦 추가 패키지 설치..."
pip install --upgrade transformers accelerate huggingface_hub sentencepiece

## 7) 설치 확인
echo "🧪 MLX 설치 확인..."
python3 -c "
import mlx.core as mx
print('✅ MLX Core 가져오기 성공')
print('📊 MLX 버전:', mx.__version__)
try:
    print('🚀 CUDA 사용 가능:', mx.metal.is_available())
except:
    print('⚠️  CUDA 상태 확인 불가 (정상일 수 있음)')
print('🎯 MLX 기본 테스트:')
x = mx.array([1, 2, 3])
print('   배열 생성 성공:', x)
print('   계산 테스트:', mx.sum(x))
"

## 8) 환경 정보 출력
echo ""
echo "🎉 MLX CUDA 빌드 완료!"
echo "📋 설치 정보:"
echo "   - CUDA Home: $CUDA_HOME"
echo "   - Python 가상환경: ~/mlxenv"
echo "   - MLX 소스: ~/mlx"
echo ""
echo "🔧 사용법:"
echo "   1. 가상환경 활성화: source ~/mlxenv/bin/activate"
echo "   2. Python에서 사용: import mlx.core as mx"
echo ""
echo "✅ 설치 완료!"

v2

#!/usr/bin/env bash
set -euxo pipefail

echo "🚀 MLX with CUDA 완전 설치 시작..."

## 0) 기본 의존성 설치
echo "📦 기본 의존성 패키지 설치..."
sudo apt-get update -y
sudo apt update -y
sudo apt-get install -y build-essential git wget curl python3.10-venv \\
                        pkg-config libopenblas-dev liblapack-dev
sudo apt-get install -y liblapack-dev libatlas-base-dev gfortran liblapacke-dev

## 1) NVIDIA CUDA 12.4 & cuBLAS 설치
echo "🔧 NVIDIA CUDA 12.4 설치..."
sudo apt-get install -y gnupg ca-certificates
sudo mkdir -p /etc/apt/keyrings
curl -fsSL <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub> \\
  | sudo tee /etc/apt/keyrings/cuda.asc
echo "deb [signed-by=/etc/apt/keyrings/cuda.asc] \\
  <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/> /" \\
  | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4 \\
                        libcublas-12-4 libcublas-dev-12-4

# CUDA 환경변수 설정
export CUDA_HOME=/usr/local/cuda-12.4
echo 'export CUDA_HOME=/usr/local/cuda-12.4' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH'       >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

## 2) 파이썬 가상환경 설정
echo "🐍 Python 가상환경 설정..."
# 기존 가상환경이 있으면 제거
if [ -d ~/mlxenv ]; then
    echo "⚠️  기존 mlxenv 가상환경 제거..."
    rm -rf ~/mlxenv
fi

python3 -m venv ~/mlxenv
source ~/mlxenv/bin/activate
python3 -m pip install --upgrade pip

## 3) MLX 소스 완전 정리 및 다운로드
echo "🧹 MLX 소스 완전 정리..."
# 기존 MLX 디렉토리 완전 제거
if [ -d ~/mlx ]; then
    echo "⚠️  기존 MLX 디렉토리 제거..."
    rm -rf ~/mlx
fi

# pip 캐시 정리
python3 -m pip cache purge

# MLX 소스 다운로드
git clone <https://github.com/ml-explore/mlx.git> ~/mlx
cd ~/mlx

# 빌드 디렉토리 및 캐시 완전 정리
echo "🗑️  빌드 캐시 완전 정리..."
rm -rf build/ dist/ *.egg-info
git clean -fdx
find . -name "__pycache__" -type d -exec rm -rf {} + 2>/dev/null || true
find . -name "*.pyc" -delete 2>/dev/null || true

# 시스템 임시 파일 정리
sudo rm -rf /tmp/pip-* 2>/dev/null || true

## 4) CUDA 환경변수 재설정 (빌드 전 확인)
echo "🔍 CUDA 환경 확인..."
export CUDA_HOME=/usr/local/cuda-12.4
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

# CUDA 설치 확인
if ! command -v nvcc &> /dev/null; then
    echo "❌ CUDA 컴파일러(nvcc)를 찾을 수 없습니다!"
    exit 1
fi

echo "✅ CUDA 버전: $(nvcc --version | grep 'release' | awk '{print $5}' | cut -d',' -f1)"

# BLAS/LAPACK 라이브러리 확인
echo "🔍 BLAS/LAPACK 라이브러리 확인..."
ls -la /usr/lib/x86_64-linux-gnu/libopenblas.so* || {
    echo "❌ OpenBLAS 라이브러리를 찾을 수 없습니다!"
    exit 1
}

ls -la /usr/include/x86_64-linux-gnu/cblas.h || {
    echo "❌ CBLAS 헤더를 찾을 수 없습니다!"
    exit 1
}

# LAPACK 헤더 확인 및 링크 생성
echo "🔧 LAPACK 헤더 확인 및 설정..."
if [ ! -f /usr/include/lapack.h ]; then
    echo "📝 lapack.h 심볼릭 링크 생성..."
    LAPACK_HEADER=$(find /usr -name "lapack.h" -type f 2>/dev/null | head -1)
    if [ -n "$LAPACK_HEADER" ]; then
        sudo ln -sf "$LAPACK_HEADER" /usr/include/lapack.h
        echo "✅ lapack.h 링크 생성: $LAPACK_HEADER -> /usr/include/lapack.h"
    else
        echo "⚠️  lapack.h를 찾을 수 없어 cblas.h로 대체 링크 생성"
        sudo ln -sf /usr/include/x86_64-linux-gnu/cblas.h /usr/include/lapack.h
    fi
else
    echo "✅ lapack.h가 이미 존재합니다."
fi

## 5) MLX + CUDA 빌드 (성공한 설정 사용)
echo "🔨 MLX CUDA 빌드 시작..."
CMAKE_ARGS="-DMLX_BUILD_CUDA=ON \\
            -DCUDAToolkit_ROOT=$CUDA_HOME \\
            -DCMAKE_CUDA_COMPILER=$CUDA_HOME/bin/nvcc \\
            -DBLAS_LIBRARIES=/usr/lib/x86_64-linux-gnu/libopenblas.so \\
            -DLAPACK_LIBRARIES=/usr/lib/x86_64-linux-gnu/libopenblas.so \\
            -DBLAS_INCLUDE_DIRS=/usr/include/x86_64-linux-gnu \\
            -DLAPACK_INCLUDE_DIRS=/usr/include/x86_64-linux-gnu \\
            -DCMAKE_C_FLAGS='-I/usr/include -I/usr/include/x86_64-linux-gnu' \\
            -DCMAKE_CXX_FLAGS='-I/usr/include -I/usr/include/x86_64-linux-gnu'" \\
python3 -m pip install . -v --config-settings cmake.args="-j$(nproc)"

## 6) 추가 패키지 설치
echo "📦 추가 패키지 설치..."
pip install --upgrade transformers accelerate huggingface_hub sentencepiece mlx-lm

# Hugging Face CLI 설치 확인 및 PATH 설정
echo "🔧 Hugging Face CLI 설정..."
if ! command -v huggingface-cli &> /dev/null; then
    echo "⚠️  huggingface-cli PATH 설정..."
    export PATH="$HOME/.local/bin:$PATH"
    echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
fi

# CLI 설치 확인
if command -v huggingface-cli &> /dev/null; then
    echo "✅ Hugging Face CLI 설치 확인 완료"
    huggingface-cli --version
else
    echo "❌ Hugging Face CLI 설치 실패"
fi

## 7) 설치 확인
echo "🧪 MLX 설치 확인..."
python3 -c "
import mlx.core as mx
print('✅ MLX Core 가져오기 성공')
print('📊 MLX 버전:', mx.__version__)
print('🎯 MLX 기본 테스트:')
x = mx.array([1, 2, 3])
print('   배열 생성 성공:', x)
print('   계산 테스트:', mx.sum(x))
print('🔥 디바이스 정보:', mx.default_device())
# CUDA 확인
try:
    import subprocess
    result = subprocess.run(['nvidia-smi'], capture_output=True, text=True)
    if result.returncode == 0:
        print('✅ NVIDIA GPU 감지됨')
    else:
        print('⚠️  NVIDIA GPU 확인 불가')
except:
    print('⚠️  nvidia-smi 실행 불가')
"

## 8) 환경 정보 출력
echo ""
echo "🎉 MLX CUDA 빌드 완료!"
echo "📋 설치 정보:"
echo "   - CUDA Home: $CUDA_HOME"
echo "   - Python 가상환경: ~/mlxenv"
echo "   - MLX 소스: ~/mlx"
echo "   - Hugging Face CLI: $(which huggingface-cli 2>/dev/null || echo '설치됨')"
echo ""
echo "🔧 사용법:"
echo "   1. 가상환경 활성화: source ~/mlxenv/bin/activate"
echo "   2. Python에서 사용: import mlx.core as mx"
echo "   3. 모델 다운로드: huggingface-cli download MODEL_NAME --local-dir ./MODEL_DIR"
echo "   4. MLX 양자화: python -m mlx_lm.quant.dwq --model MODEL_PATH"
echo ""
echo "💡 예제 명령어:"
echo "   # 모델 다운로드"
echo "   huggingface-cli download Qwen/Qwen3-30B-A3B --local-dir ./Qwen3-30B-A3B"
echo ""
echo "   # DWQ 양자화"
echo "   python -m mlx_lm.quant.dwq --model ./Qwen3-30B-A3B --mlx-path ./Qwen3-30B-A3B-DWQ --bits 3"
echo ""
echo "✅ 설치 완료!"

Install package

#!/usr/bin/env bash
set -euxo pipefail

echo "🚀 MLX with CUDA 완전 설치 시작..."

## 0) 기본 의존성 설치
echo "📦 기본 의존성 패키지 설치..."
sudo apt-get update -y
sudo apt update -y
sudo apt-get install -y build-essential git wget curl python3.10-venv \\
                        pkg-config libopenblas-dev liblapack-dev
sudo apt-get install -y liblapack-dev libatlas-base-dev gfortran liblapacke-dev

## 1) NVIDIA CUDA 12.4 & cuBLAS 설치
echo "🔧 NVIDIA CUDA 12.4 설치..."
sudo apt-get install -y gnupg ca-certificates
sudo mkdir -p /etc/apt/keyrings
curl -fsSL <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub> \\
  | sudo tee /etc/apt/keyrings/cuda.asc
echo "deb [signed-by=/etc/apt/keyrings/cuda.asc] \\
  <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/> /" \\
  | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4 \\
                        libcublas-12-4 libcublas-dev-12-4

# CUDA 환경변수 설정
export CUDA_HOME=/usr/local/cuda-12.4
echo 'export CUDA_HOME=/usr/local/cuda-12.4' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH'       >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

Broken package fix script

#!/bin/bash

echo "🔧 CUDA 키링 충돌 해결 중..."

# 1. 기존 CUDA sources.list 파일들 확인 및 제거
echo "📋 기존 CUDA 리포지토리 설정 확인..."
sudo find /etc/apt/sources.list.d/ -name "*cuda*" -exec rm -v {} \\;

# 2. 기존 키링 파일들 정리
echo "🗝️ 기존 키링 파일 정리..."
sudo rm -f /etc/apt/keyrings/cuda.asc
sudo rm -f /usr/share/keyrings/cuda-archive-keyring.gpg

# 3. APT 캐시 정리
echo "🧹 APT 캐시 정리..."
sudo rm -rf /var/lib/apt/lists/*
sudo apt-get clean

# 4. 올바른 방법으로 CUDA 키링 설정
echo "🔑 CUDA 키링 다시 설정..."
sudo mkdir -p /etc/apt/keyrings
wget -qO - <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub> | sudo gpg --dearmor -o /etc/apt/keyrings/cuda-archive-keyring.gpg

# 5. CUDA 리포지토리 다시 추가
echo "📦 CUDA 리포지토리 다시 추가..."
echo "deb [signed-by=/etc/apt/keyrings/cuda-archive-keyring.gpg] <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/> /" | sudo tee /etc/apt/sources.list.d/cuda-toolkit.list

# 6. APT 업데이트
echo "🔄 APT 업데이트..."
sudo apt-get update

echo "✅ CUDA 키링 충돌 해결 완료!"
echo "이제 CUDA 설치를 계속 진행할 수 있습니다.