소개이번 프로젝트에서 멀티 노드 환경에서 분산 학습을 하게 되었습니다. 일반적으로 Kubernetes(K8s), Slurm과 같은 워크로드 매니저나 오케스트레이션 도구를 사용하여 복잡한 분산 환경을 관리합니다. 하지만 이러한 도구에 익숙하지 않거나 빠르게 분산 학습 환경을 구성하고 싶을 때가 있습니다.이럴 때 각 노드에 Docker 컨테이너를 띄우고 SSH 연결을 통해 통신하는 방식으로 비교적 간단하게 멀티 노드 분산 학습 환경을 구축할 수 있습니다. 이 방법은 K8s나 Slurm만큼 견고하거나 확장성이 뛰어나지는 않지만, 소규모 클러스터나 빠른 실험 환경 구축에는 유용할 수 있습니다.이번 글에서는 Docker, SSH, 그리고 accelerate와 deepspeed 라이브러리를 활용하여 멀티 노드 분산..

이 책은 현대 자연어 처리의 핵심 도구인 허깅페이스 트랜스포머를 체계적으로 다루는 기술 서적입니다. 전반적인 구성을 보면 기본적인 개념부터 시작해 실제 모델 개발과 최적화까지 단계적으로 접근하는 방식을 취하고 있습니다.책의 구성은 크게 세 부분으로 나눌 수 있습니다.첫째, 1-3장에서는 허깅페이스의 기본 개념과 환경 구축, 주요 라이브러리 사용법을 다룹니다.둘째, 4-6장에서는 토크나이저와 평가 지표, 다양한 언어 모델 구조와 그 활용법을 설명합니다.마지막으로, 7-8장에서는 모델 경량화와 강화학습 기반의 정렬 조정 기법을 소개합니다. 이 책의 가장 큰 장점은 실무적 활용도가 높다는 점입니다. 특히 한국어 자연어 이해 평가(KLUE) 데이터셋을 활용한 실습과 PEFT, QLoRA와 같은 최신 경량화 기법..

1. BM25 검색의 기본 원리RAG(Retrieval-Augmented Generation) 시스템에서 가장 널리 사용되는 키워드 기반 검색 알고리즘 중 하나가 BM25(Best Matching 25)입니다. BM25는 TF-IDF(Term Frequency-Inverse Document Frequency)를 개선한 알고리즘으로, 문서 길이를 고려하여 더욱 정교한 키워드 매칭을 가능하게 합니다.BM25의 주요 특징TF-IDF를 기반으로 한 향상된 키워드 검색 성능문서 길이에 따른 정규화 지원여기서 각 파라미터의 의미는:IDF(qi): 역문서 빈도f(qi,D): 문서 D에서 단어 qi의 출현 빈도|D|: 문서 D의 길이avgdl: 평균 문서 길이k1: 항 빈도에 대한 가중치 (일반적으로 1.2~2.0)b..

요즘 들어 아무 방해 없이 완전히 몰입했던 순간이 언제였는지도 모를 만큼 집중력이 부족하고 산만한 기분이 계속해서 들고 있습니다. 공부나 업무를 할 때 집중한다며 음악을 듣거나 사람 많은 카페에 가서 노트북을 펴고는 '역시 집보다는 카페가 집중이 잘돼'라고 생각하거나 빠른 답장을 위해 수시로 이메일을 확인하고 메신저를 켜놓는 등의 행동들은 어쩌면 최선의 몰입이 아닌 유혹에 적당히 타협한 어정쩡한 몰입이었지 않나 생각이 들기도 합니다. 성과를 내기 위해선 몰입이 필요하다는 것은 누구나 알고 있습니다. 하지만 몰입으로 성공한 사람들의 구체적인 사례와 방법들을 알고 싶어서, 또한 그것을 통해 딥 워크에 대한 확신을 얻기 위해 이 책을 골랐습니다. 왜 딥워크인가 대체 불가능한 전문가는 신기술, 어려운 일을 빠르..

0. IntroLLM의 추론 능력(reasoning)을 향상하기 위한 다양한 프롬프트 테크닉이 연구되고 있습니다. 그중 Something of thoughts 시리즈들을 알아보려고 합니다. 이번에 소개해드릴 것은 2가지입니다.Chain of Thought (CoT)Tree of Thoghts (ToT)1. Chain of ThoughtChain of Thoughts (CoT)는 중간에 추론 단계를 둠으로써 LLM이 복잡한 추론을 가능하게 해 줍니다. 예시에서는 few-shot으로 계산 과정을 단계적으로 알려줬습니다. 비교적 간단한 방법이고 LLM이 문제를 해결해 가나는 과정을 알 수 있다는 장점이 있는 것 같습니다. 또한 zero-shot으로 "천천히 한 단계씩 생각해 보자"라고 한 줄 추가함으로써 Co..

0. Intro 인터넷상에 있는 수많은 글, 뉴스 또는 학생이 제출한 과제 등이 ChatGPT, Bard로부터 생성된 글인지 어떻게 판별할 수 있을까요? 당장 생각나는 방법은 글을 N-그램과 같이 통계적 기법으로 분석하여 인간의 글과 생성 AI의 글 사이의 관계를 찾는 것이고 또는 BERT와 같은 모델을 분류기로 사용하여 한 가지 주제 또는 프롬프트에 대하여 인간의 글과 생성 AI의 글을 분류하는 모델을 만드는 것입니다. 이 방법들은 인간의 글과 생성 AI의 글을 학습데이터로 확보해야 하기에 시간과 비용이 들 수밖에 없습니다. 이 글에서 소개해드릴 DetectGPT는 이런 비용 없이 비교적 작은 모델(T5)을 활용하여 생성 AI로부터 만들어졌는지 판단합니다. 1. Introduction 방법은 다음과 같..

1. 동기? 비동기? 동기 프로그래밍 : 동기 프로그래밍은 작업들이 순차적으로 실행되며, 하나의 작업이 끝나야 다음 작업이 시작됩니다. 이것은 작업들 간의 의존성이 높고, 순서가 중요한 경우에 주로 사용됩니다. 비동기 프로그래밍 : 비동기 프로그래밍은 작업들이 동시에 진행되며, 하나의 작업이 완료될 때까지 다른 작업을 차단하지 않습니다. 빅데이터에서는 코드에 필요한 데이터를 얻어오는 작업에 병목이 생길 수 있습니다. 이런 I/O bound 위주의 프로그램에서는 I/O 효율을 비동기적으로 개선함으로써 실행속도를 빠르게 할 수 있습니다. 네이버에서 300개 기업의 재무제표를 크롤링하는 경우를 예로 보겠습니다.2. 동기 프로그래밍from pykrx import stock import pandas as pd i..

0. Cython? line_profiler 같은 프로파일링 툴로 알고리즘을 최적화하여 CPU에서의 계산량, RAM에서의 병목을 어느 정도 개선했다면 노력 대비 속도 개선이 줄어드는, 즉 한계 효용이 감소하는 시기가 옵니다. 그러면 다음으로 시간을 줄이는 가장 쉬운 방법은 기계어로 컴파일하는 것입니다. 컴파일을 하게 되면 CPU에서 바로 실행 가능한 기계어로 변환되며, 이는 같은 연산을 반복하는 루프나 list, array에 대한 역참조, 수학 계산과 같은 곳에서 시간을 줄여줄 수 있습니다. 대표적으로 파이썬을 C언어로 컴파일 해주는 라이브러리인 사이썬(Cython)이 있습니다. 사이썬은 파이썬 코드를 컴파일된 확장 모듈로 변경해 주고 이 확장 모듈을 import 해서 쓰기만 하면 되기 때문에 비교적 사..