#ML
전체 게시글 5개
-
KL Divergence 개념과 활용 정리
개요 KL divergence는 두 확률분포 사이의 차이를 측정하는 비대칭적 정보측도입니다. 주로 한 분포가 다른 분포를 얼마나 잘 근사하는지 평가하는 데 사용합니다. 정의 KL divergence는 두 확률분포 P와 Q에 대해 P가 Q로부터 얼마나 다른지를 측정...
-
Attention과 Transformer 핵심 정리
개요 Attention과 Transformer의 핵심 개념을 정리합니다. 포지셔널 인코딩, Self Attention, Feed Forward Network(FFN)의 원리와 구조를 설명합니다. Attention 개념 Attention은 입력 시퀀스의 각 요소가...
-
Transformer란?
개요 Transformer는 자연어 처리를 위해 제안된 딥러닝 아키텍처입니다. 순차 모델인 RNN과 LSTM의 한계를 개선하기 위해 제안되었으며, 현재 대규모 언어 모델과 생성형 모델의 기본 구조로 사용됩니다. 2017년 Google이 발표한 논문 Attentio...
-
Ollama란?
개요 Ollama는 대형 언어 모델(LLM)을 로컬 환경에서 쉽게 실행하기 위한 런타임 및 관리 도구입니다. 복잡한 모델 다운로드, 환경 설정, GPU/CPU 옵션을 추상화하여 CLI 기반으로 LLM을 즉시 실행할 수 있도록 설계되었습니다. 로컬 LLM 실행 표준...
-
PyTorch란?
개요 PyTorch는 Python 기반 오픈소스 딥러닝 프레임워크입니다. 동적 계산 그래프(dynamic computation graph)를 기반으로 한 연구 및 서비스 친화형 머신러닝 프레임워크입니다. PyTorch는 Facebook AI Research(FAI...