[LLM] Ollama를 이용한 커스텀 LLM(Large Language Models) 만들기
Ollama는 로컬에서 대형 언어 모델(LLM)을 실행할 수 있고, 사용자 친화적인 인터페이스를 제공하기 때문에 많은 프로젝트에서 사용하고 있다. Repo에 등록되어 있는 사전 미세조정(=Fine tuning) 된 LLM을 사용할 수 있지만, 필요에 의해 커스텀해야 하는 경우가 있는데,...
Author: grip.news
오딘2 Yuzu를 사용한 닌텐도 스위치 안드로이드 에뮬레이션 (Odin2, Nintendo Switch Android Emulator)
오딘2 with 닌텐도 스위치 오딘 2(Odin2)는 스냅드래곤 Gen2를 탑재한 고성능 휴대용 안드로이드 게임 기기로 많은 게임을 실행할 수 있다. 그중 닌텐도 스위치를 애뮬레이션하기 위해서는 높은 사양을 필요로 하는데, 오딘 2는 이조차 즐길 수 있는...
OCulink eGPU 만들기 (RTX4070Ti Super + OCuP4V2 & EXP GDC)
야근을 피하기 위해 … 이것저것 할인을 받을 수 있는 기회 덕분에 오랜만에 새로운 컴퓨터를 구입할 수 있게 되었다. 제품은 GMK사에서 판매한 K8이며, AP는 AMD 8845HS와 RX780M GPU로 구성된 제품이다. 그런데, 슬프게도 회사 잔업이 쏟아지기...
USB4 인클로저(Enclosure) 칩셋 비교 (ASM2464PD vs JHL7440)
USB 4.0 시대 개막 얼마 전 작업용 컴퓨터를 GMKtec Nucbox K8 8845HS 큐브 형태의 PC로 교체했다. AMD Ryzen 7 8845HS를 탑재하고 있어 CPU에서 직접 USB 4를 처리할 수 있게 되었고, 전면에 Type-C/USB 4.0 커넥터가...
[미밴드 8Pro/MiBand 8Pro] 한글 패치 (한글화)
샤오미의 스마트밴드, MiBand 8 시리즈가 공개된 지 몇 개월 지났다. 강력한 배터리 성능과 더불어 완성도 높은 기본 성능은 여타 다른 중국발 스마트밴드/워치와 차별화된다. 기본적으로 한글을 탑재한 글로벌 버전도 존재하나, 안타깝게도 NFC를 지원하지 않는다. 이는...
[미밴드 8Pro/MiBand 8Pro] 한글 패치 수정
MiBand 8 Pro 한글 패치 강화 선행 작업자 분들 덕분에 중국 내수용-제품도 어렵지 않게 한글을 사용할 수 있게 되었다. 이 글에서는 번역에서 누락 되었거나 아쉬운 번역을 수정 및 반영하는 내용을 다루고자 한다. 이 글은...
[LLM] RTX4000 시리즈 Multi-GPU P2P 이슈 대응
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
[LLM] AMD 7950X3D + RTX4090 Ubuntu, CUDA 설치
Ubuntu 기본설치 WSL(Windows Subsystem for Linux)의 완성도가 높아졌다더라도, Native Linux만큼은 아니다. 사내 있는 컴퓨터다 보니 Windows + Docker/w Ubuntu 의 조합도 생각해 봤지만, 관리 요소만 더 추가될 뿐이라 생각했다. 1년 전에는 nVIDIA 드라이버의 문제로...
[LLM] AMD 7950X3D + RTX4090 워크스테이션 조립 그리고 C5 에러
AWS SageMaker는 매우 고가의 서비스다. 회원 가입 시 2개월 50시간의 프리티어를 사용할 수 있지만, 모델이 커질수록 크레디트 소진속도가 빨라지기 때문에 계정 널뛰기 해야 한다는 단점이 있다. 불확실한 결과에 대해 비용을 투자하기는 쉽지 않기 때문에...
JAGUAR XJ/XJL (X351) 2018 스팩 비교
2018년식 JAGUAR XJ/XJL X351 3.0D 프리미엄 럭셔리 SWB(Short Wheel Base), 3.0D 프리미엄 럭셔리 LWB 그리고 3.0SC AWD LWB 스팩 비교 자료.
