[LLM] RTX4000 시리즈 Multi-GPU P2P 이슈 대응
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
Tagged: LLM
[LLM] AMD 7950X3D + RTX4090 Ubuntu, CUDA 설치
Ubuntu 기본설치 WSL(Windows Subsystem for Linux)의 완성도가 높아졌다더라도, Native Linux만큼은 아니다. 사내 있는 컴퓨터다 보니 Windows + Docker/w Ubuntu 의 조합도 생각해 봤지만, 관리 요소만 더 추가될 뿐이라 생각했다. 1년 전에는 nVIDIA 드라이버의 문제로...
[LLM] AMD 7950X3D + RTX4090 워크스테이션 조립 그리고 C5 에러
AWS SageMaker는 매우 고가의 서비스다. 회원 가입 시 2개월 50시간의 프리티어를 사용할 수 있지만, 모델이 커질수록 크레디트 소진속도가 빨라지기 때문에 계정 널뛰기 해야 한다는 단점이 있다. 불확실한 결과에 대해 비용을 투자하기는 쉽지 않기 때문에...
