[LLM] 허깅페이스 모델을 OLLAMA 형식으로 변환하기 (HuggingFace model to Ollama)
허깅페이스(HuggingFace)에는 유용하고 다양한 LLM 이 등록 되어 있지만, Ollama 에는 대표적인 모델들만 등록 되어있어 활용 측면에서 떨어진다. 허깅페이스 모델을 Ollama용 LLM으로 변환하는 과정을 담아봤다. 허깅페이스 모델 다운로드 GGUF 형식의 LLM을 받은 경우 GGUF로 변환하는...
Category: DEVELOPMENT
[LLM] LoRA (Low Rank Adaptation)의 이해
LLM(Large Language Models, 대형 언어 모델)에 있어, 미세조정(Fine-Tuning, 파인 튜닝)은 추론이 불가능한 주제 및 질문에 대한 해결 방법으로 자리 잡았다. 그러나, 모델의 모든 매개변수(Parameter, 파라미터)를 다시 훈련하는 “모델 전체 조정” 과정은 높은 비용과 시간을...
[LLM] MLX Framework를 이용한 LLM 미세조정 (fine-tuning)
앞서 커스텀 LLM 을 만들었지만, 명칭만 바뀌었을 뿐 실질적 내용이 바뀐 부분은 없었다. 현재 공개된 LLM은 기본 모델 조차 일반 사용 목적으로 부족함이 없기에 그냥 사용해도 괜찮지만, 꼭 필요한 내용을 담아야 하는 경우가 가끔...
[LLM] Ollama를 이용한 커스텀 LLM(Large Language Models) 만들기
Ollama는 로컬에서 대형 언어 모델(LLM)을 실행할 수 있고, 사용자 친화적인 인터페이스를 제공하기 때문에 많은 프로젝트에서 사용하고 있다. Repo에 등록되어 있는 사전 미세조정(=Fine tuning) 된 LLM을 사용할 수 있지만, 필요에 의해 커스텀해야 하는 경우가 있는데,...
OCulink eGPU 만들기 (RTX4070Ti Super + OCuP4V2 & EXP GDC)
야근을 피하기 위해 … 이것저것 할인을 받을 수 있는 기회 덕분에 오랜만에 새로운 컴퓨터를 구입할 수 있게 되었다. 제품은 GMK사에서 판매한 K8이며, AP는 AMD 8845HS와 RX780M GPU로 구성된 제품이다. 그런데, 슬프게도 회사 잔업이 쏟아지기...
[LLM] RTX4000 시리즈 Multi-GPU P2P 이슈 대응
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
[LLM] AMD 7950X3D + RTX4090 Ubuntu, CUDA 설치
Ubuntu 기본설치 WSL(Windows Subsystem for Linux)의 완성도가 높아졌다더라도, Native Linux만큼은 아니다. 사내 있는 컴퓨터다 보니 Windows + Docker/w Ubuntu 의 조합도 생각해 봤지만, 관리 요소만 더 추가될 뿐이라 생각했다. 1년 전에는 nVIDIA 드라이버의 문제로...
[LLM] AMD 7950X3D + RTX4090 워크스테이션 조립 그리고 C5 에러
AWS SageMaker는 매우 고가의 서비스다. 회원 가입 시 2개월 50시간의 프리티어를 사용할 수 있지만, 모델이 커질수록 크레디트 소진속도가 빨라지기 때문에 계정 널뛰기 해야 한다는 단점이 있다. 불확실한 결과에 대해 비용을 투자하기는 쉽지 않기 때문에...
맵피 (Mappy) 루트 체크 우회 패치 – 3.4.12 (230809)
잘 사용하던 폰터스 HUD 정책 변화로 T-MAP을 사용할 수 없게 됐다. 그들은 대안으로 T-HUD 제조사가 개발한 MNEC를 공개했지만, 완성도가 높지 않아 제대로 사용하기 어려운 상황이다. 때문에 당분간 만도 맵피를 사용해야 한다. 맵피는 특이하게 금융권...
Android Head Unit 네비게이션(Navigation) 출력 변경 (BMW, AUDI, JAGUAR, LANDROVER)
중국 쇼핑몰(Aliexpress, Alibaba)에서 안드로이드 해드 유닛을 구입해 장착할 경우 아래 이미지와 같은 작은 스피커를 함께 동봉하는 제품들이 있다. 주로 아우디, 벤츠, 재규어, 랜드로버 등용 제품이 대상이며, 스피커가 없어도 “SPK OUT”과 같은 출력 단자가 있는...
