AWS, IT, 자동차에 대한 지식을 나누고 소식을 전하는 블로그!
허깅페이스(HuggingFace)에는 유용하고 다양한 LLM 이 등록 되어 있지만, Ollama 에는 대표적인 모델들만 등록 되어있어 활용 측면에서 떨어진다. 허깅페이스 모델을 Ollama용 LLM으로 변환하는 과정을 담아봤다. 허깅페이스 모델 다운로드 GGUF 형식의 LLM을 받은 경우 GGUF로 변환하는...
LLM(Large Language Models, 대형 언어 모델)에 있어, 미세조정(Fine-Tuning, 파인 튜닝)은 추론이 불가능한 주제 및 질문에 대한 해결 방법으로 자리 잡았다. 그러나, 모델의 모든 매개변수(Parameter, 파라미터)를 다시 훈련하는 “모델 전체 조정” 과정은 높은 비용과 시간을...
앞서 커스텀 LLM 을 만들었지만, 명칭만 바뀌었을 뿐 실질적 내용이 바뀐 부분은 없었다. 현재 공개된 LLM은 기본 모델 조차 일반 사용 목적으로 부족함이 없기에 그냥 사용해도 괜찮지만, 꼭 필요한 내용을 담아야 하는 경우가 가끔...
허깅페이스(HuggingFace)에는 유용하고 다양한 LLM 이 등록 되어 있지만, Ollama 에는 대표적인 모델들만 등록 되어있어 활용 측면에서 떨어진다. 허깅페이스 모델을 Ollama용 LLM으로 변환하는 과정을 담아봤다. 허깅페이스 모델 다운로드 GGUF 형식의 LLM을 받은 경우 GGUF로 변환하는...
LLM(Large Language Models, 대형 언어 모델)에 있어, 미세조정(Fine-Tuning, 파인 튜닝)은 추론이 불가능한 주제 및 질문에 대한 해결 방법으로 자리 잡았다. 그러나, 모델의 모든 매개변수(Parameter, 파라미터)를 다시 훈련하는 “모델 전체 조정” 과정은 높은 비용과 시간을...
앞서 커스텀 LLM 을 만들었지만, 명칭만 바뀌었을 뿐 실질적 내용이 바뀐 부분은 없었다. 현재 공개된 LLM은 기본 모델 조차 일반 사용 목적으로 부족함이 없기에 그냥 사용해도 괜찮지만, 꼭 필요한 내용을 담아야 하는 경우가 가끔...
Ollama는 로컬에서 대형 언어 모델(LLM)을 실행할 수 있고, 사용자 친화적인 인터페이스를 제공하기 때문에 많은 프로젝트에서 사용하고 있다. Repo에 등록되어 있는 사전 미세조정(=Fine tuning) 된 LLM을 사용할 수 있지만, 필요에 의해 커스텀해야 하는 경우가 있는데,...
오딘2 with 닌텐도 스위치 오딘 2(Odin2)는 스냅드래곤 Gen2를 탑재한 고성능 휴대용 안드로이드 게임 기기로 많은 게임을 실행할 수 있다. 그중 닌텐도 스위치를 애뮬레이션하기 위해서는 높은 사양을 필요로 하는데, 오딘 2는 이조차 즐길 수 있는...
야근을 피하기 위해 … 이것저것 할인을 받을 수 있는 기회 덕분에 오랜만에 새로운 컴퓨터를 구입할 수 있게 되었다. 제품은 GMK사에서 판매한 K8이며, AP는 AMD 8845HS와 RX780M GPU로 구성된 제품이다. 그런데, 슬프게도 회사 잔업이 쏟아지기...
USB 4.0 시대 개막 얼마 전 작업용 컴퓨터를 GMKtec Nucbox K8 8845HS 큐브 형태의 PC로 교체했다. AMD Ryzen 7 8845HS를 탑재하고 있어 CPU에서 직접 USB 4를 처리할 수 있게 되었고, 전면에 Type-C/USB 4.0 커넥터가...
샤오미의 스마트밴드, MiBand 8 시리즈가 공개된 지 몇 개월 지났다. 강력한 배터리 성능과 더불어 완성도 높은 기본 성능은 여타 다른 중국발 스마트밴드/워치와 차별화된다. 기본적으로 한글을 탑재한 글로벌 버전도 존재하나, 안타깝게도 NFC를 지원하지 않는다. 이는...
MiBand 8 Pro 한글 패치 강화 선행 작업자 분들 덕분에 중국 내수용-제품도 어렵지 않게 한글을 사용할 수 있게 되었다. 이 글에서는 번역에서 누락 되었거나 아쉬운 번역을 수정 및 반영하는 내용을 다루고자 한다. 이 글은...
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
