반응형 one-hot1 [BOOK] 처음 배우는 딥러닝 챗봇 #2 임베딩 임베딩 컴퓨터는 자연어를 직접적으로 처리할 수가 없으며, 수치 연산만 가능하기 때문에 자연어를 숫자나 벡터 형태로 변환 필요. 이런 과정을 자연어 처리 분야에서는 임베딩(embedding)이라고 함 임베딩: 단어나 문장을 수치화해 벡터 공간으로 표현하는 과정 임베딩은 말뭉치의 의미에 따라 벡터화하기 때문에 문법적 정보 포함, 임베딩 품질에 따른 결과 차이가 큼 임베딩에는 문장 임베딩과 단어 임베딩 존재하며, 문장 임베딩은 전체 문장을 벡터로 관리, 단어 임베딩은 개별 단어를 벡터로 표현 문장 임베딩: 문맥적 의미를 지니는 장점, 품질이 좋음, 상용 시스템에 많이 사용, 학습 비용 큼 단어 임베딩: 동음이의어 대한 구별 하지 않음, 의미가 다르더라도 단어의 형태가 같다면 동일한 값으로 취급, 학습 방법 간.. 2023. 1. 25. 이전 1 다음 반응형
