[LLM] RTX4000 시리즈 Multi-GPU P2P 이슈 대응
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
Tagged: CUDA
[LLM] AMD 7950X3D + RTX4090 Ubuntu, CUDA 설치
Ubuntu 기본설치 WSL(Windows Subsystem for Linux)의 완성도가 높아졌다더라도, Native Linux만큼은 아니다. 사내 있는 컴퓨터다 보니 Windows + Docker/w Ubuntu 의 조합도 생각해 봤지만, 관리 요소만 더 추가될 뿐이라 생각했다. 1년 전에는 nVIDIA 드라이버의 문제로...
