hjjummy 님의 블로그

안녕하세요 여러분! 오늘은 자연어 처리(NLP)에서 텍스트 분류를 위한 Transformer 모델 학습 과정을 재미있게 알아보려고 합니다. 텍스트 분류는 감정 분석이나 주제 분류 등 다양한 곳에 활용되는데요, 이번에는 DistilBERT라는 모델을 사용해서 감정 분류 작업을 직접 경험해 보겠습니다! 목차텍스트 분류란?데이터셋 준비토크나이저(Tokenization) 이해하기Transformer 모델 학습 파이프라인Transformer 모델을 특징 추출기로 사용하기모델 파인튜닝(Fine-tuning)모델 성능 평가 및 공유결론 및 다음 학습 주제1. 텍스트 분류란?텍스트 분류는 주어진 텍스트를 특정 카테고리(예: 감정, 주제 등)로 분류하는 작업입니다. 이번 포스트에서는 감정 분류를 예로 들어보겠습니다. 사..

안녕하세요 여러분! 이번 포스트에서는 자연어 처리(NLP)에서 많이 사용되는 트랜스포머(Transformer) 모델의 내부 구조를 알아보도록 하겠습니다. 트랜스포머는 현대의 많은 언어 모델들의 기초가 되는 중요한 아키텍처인데요, 이 글에서는 트랜스포머의 주요 구성 요소와 그 역할을 초보자도 쉽게 이해할 수 있도록 풀어 설명드리겠습니다.이번 주 학습에서는 트랜스포머의 인코더(Encoder), 디코더(Decoder), 그리고 다양한 주목할 만한 특징들에 대해 깊이 있게 다뤄볼 것입니다. 그럼 시작해 볼까요?목차트랜스포머란 무엇인가?트랜스포머 아키텍처의 개요인코더의 역할과 구성 요소셀프 어텐션(Self-Attention) 메커니즘디코더의 역할과 차이점트랜스포머에서의 멀티-헤드 어텐션포지셔널 임베딩(Positi..

자연어 처리(NLP) 분야에서 트랜스포머 모델은 혁신적인 변화의 시작이었습니다. 본 포스트에서는 트랜스포머의 등장 배경과 발전 과정을 간결하고 쉽게 설명하고자 합니다.  목차트랜스포머 모델의 등장과 발전 과정트랜스포머의 초기 소개와 현재까지의 발전을 살펴봅니다.기존 자연어 처리 모델의 한계RNN과 LSTM 기반 순환 신경망의 한계와 인코더-디코더 프레임워크를 다룹니다.트랜스포머와 셀프 어텐션 메커니즘트랜스포머의 주요 혁신 요소인 셀프 어텐션 메커니즘에 대해 설명합니다.어텐션 메커니즘의 필요성기존 인코더-디코더 모델의 정보 병목 현상을 해결하는 어텐션 메커니즘의 역할을 알아봅니다.셀프 어텐션 vs 전통적 어텐션셀프 어텐션의 혁신적 측면과 기존 어텐션 메커니즘과의 차이를 설명합니다.트랜스포머의 성능과 그 영..