[LLM] RTX4000 시리즈 Multi-GPU P2P 이슈 대응
앞서 RTX4090이 2개 설치된 워크스테이션을 설치해 개발을 시작했다. 대용량 LLM을 사용하려면 2개의 GPU에 샤딩된 모델을 업로드해야 한다. 그런데, PyTorch의 to 함수가 정상적으로 동작하지 않았다. 1개의 GPU만 사용하면 물리 메모리가 충분하지 않아 큰 LLM을 사용할...
Category: DEVELOPMENT
[LLM] AMD 7950X3D + RTX4090 Ubuntu, CUDA 설치
Ubuntu 기본설치 WSL(Windows Subsystem for Linux)의 완성도가 높아졌다더라도, Native Linux만큼은 아니다. 사내 있는 컴퓨터다 보니 Windows + Docker/w Ubuntu 의 조합도 생각해 봤지만, 관리 요소만 더 추가될 뿐이라 생각했다. 1년 전에는 nVIDIA 드라이버의 문제로...
[LLM] AMD 7950X3D + RTX4090 워크스테이션 조립 그리고 C5 에러
AWS SageMaker는 매우 고가의 서비스다. 회원 가입 시 2개월 50시간의 프리티어를 사용할 수 있지만, 모델이 커질수록 크레디트 소진속도가 빨라지기 때문에 계정 널뛰기 해야 한다는 단점이 있다. 불확실한 결과에 대해 비용을 투자하기는 쉽지 않기 때문에...
맵피 (Mappy) 루트 체크 우회 패치 – 3.4.12 (230809)
잘 사용하던 폰터스 HUD 정책 변화로 T-MAP을 사용할 수 없게 됐다. 그들은 대안으로 T-HUD 제조사가 개발한 MNEC를 공개했지만, 완성도가 높지 않아 제대로 사용하기 어려운 상황이다. 때문에 당분간 만도 맵피를 사용해야 한다. 맵피는 특이하게 금융권...
Android Head Unit 네비게이션(Navigation) 출력 변경 (BMW, AUDI, JAGUAR, LANDROVER)
중국 쇼핑몰(Aliexpress, Alibaba)에서 안드로이드 해드 유닛을 구입해 장착할 경우 아래 이미지와 같은 작은 스피커를 함께 동봉하는 제품들이 있다. 주로 아우디, 벤츠, 재규어, 랜드로버 등용 제품이 대상이며, 스피커가 없어도 “SPK OUT”과 같은 출력 단자가 있는...
AWS, Open Distro for Elasticsearch 설치
Serverless 환경은 장단점이 명확하다. 명확한 장점은 개발 및 관리 지만, 제공해 주는 주체(AWS)가 설정해 놓은 범위 밖에 있는 요구사항을 수용할 수 없다는 단점이 있다. RDS 의 Serverless 는 아직 Aurora 5.6(=MySQL 5.6)만 대응 가능하고,...
AWS, Lambda 기반 Serverless 한글 형태소 분석기(MeCab) 개발편
앞 포스트에서 AWS Lambda 에 MeCab 와 Python 스크립트를 통해 “아버지가방에들어가신다”를 성공적(?)으로 분석했다. 가장 기본적인 형태로 한글 형태소 분석기가 Lambda 에서 정상 동작 여부를 확인할 수 있었다. AWS, Lambda 기반 Serverless 한글 형태소 분석기(MeCab)...
AWS, Lambda 기반 Serverless 한글 형태소 분석기(MeCab) 설치편
지난 2017년 자사 문서를 분석하기위한 문서 요약 플랫폼을 개발했다. 핵심 문서를 추출하게 되면 가중치 높은 단어를 찾을 수 있다. 그 단어가 그 문서의 핵심 키워드라 가정하고, 통계를 작성했다. 이 통계가 바로 ‘트랜드’다. 사람이 직접...
MySQL, Full Text Search (전문검색, FTS)
요즘 사내 메신저를 개발하다 보니 데이터 저장 및 활용에 대해 관심도가 그 어느때보다 높다. 메신저의 특징상 사용자에게 쾌적함을 주지 않는다면 단순히 강제하기란 쉽지 않다. 가장 고민거리는 ‘검색’이다. 단도직입적으로 내가 원천소스 부터 개발했다면 일찌감치 Solr...
MySQL 인덱스 기초 지식
효율적인 MySQL 사용을 위해선 인덱스(index)가 필수다. 인덱스 지정에 따라 계산량이 얼마나 차이가 있는지 앞선 포스트에서 확인할 수 있다. 누구나 할 것같은 인덱스에 대해 조금 더 알아보자. MySQL 인덱스에 따른 산술적 계산량 차이 데이터베이스...
