귀퉁이 서재

'철학이란 무엇인가?', '철학은 무슨 효용이 있는가?'에 대해서 많은 사람들이 궁금해한다. 나 역시 그랬다. 특히 나는 철학사 공부의 의미가 궁금했다. 플라톤의 철학과 니체의 철학은 완전히 상반된다. 그런 상황에서 플라톤 철학을 공부하는 것과 니체 철학을 공부하는 게 도무지 무슨 의미인지 궁금했다. 서로 상반되는 철학 중 어떤 것이 진리인지는 아무도 모른다. 이러한 상황에서 플라톤 철학을 공부하는 것과 니체 철학을 공부하는 것이 어떤 의미가 있는지 정말 궁금했다. 니체 철학이 진리라면 플라톤 철학은 왜 공부하는 것일까? 지난 2,500년간 수많은 철학자가 있었고 각 철학자마다 고유의 철학이 있었다. 철학사를 공부한다는 것이 도대체 무슨 의미가 있는 것인가? 오랜 고민 끝에 답을 구하지 못해 모교의 철학..

이전 장에서는 새로운 문장을 생성하는 seq2seq에 대해 알아봤습니다. 이번 장에서는 seq2seq의 기능을 더 강화시켜 주는 어텐션(Attention)에 대해 알아보겠습니다. 어텐션은 자연어 처리 분야에서 강력하고 중요한 기술 중 하나입니다. seq2seq를 이미 알고 있다는 가정하에 이번 장을 썼습니다. seq2seq를 잘 모르시는 분은 NLP - 13. 시퀀스-투-시퀀스(seq2seq)를 참고해주시기 바랍니다. 이번 장의 모든 글 및 그림은 밑바닥부터 시작하는 딥러닝 2를 참고, 정리하였음을 밝힙니다. 어텐션이라는 메커니즘 덕분에 seq2seq는 인간처럼 필요한 정보에 '주목(Attention)'할 수 있습니다. 어텐션은 기존 seq2seq의 문제점을 해결하여 성능을 향상시킵니다. 우선 기존 se..

이번 글은 RNN(Recurrent Neural Network)에 대해 이미 알고 있다는 가정 하에 썼습니다. RNN에 대해 잘 모르신다면 RNN을 먼저 배워오시기를 추천드립니다. NLP 분야에서 seq2seq는 기계 번역, 문장 생성, 질의응답, 메일 자동 응답 등에 활용되는 모델입니다. 우선 기계 번역에 대해 알아보겠습니다. 예전의 기계 번역은 주로 규칙 기반(rule based)이었습니다. 문맥을 전체적으로 고려하지 않고 단어와 단어를 1:1로 번역하기 때문에 결과가 좋지 않았습니다. 극단적인 예이긴 하지만 아래와 같습니다. 성능이 좋지 않은 규칙 기반 번역: 나는 그곳에 갔다 -> I there went ?? '나는'을 I, '그곳에'를 there, '갔다'를 went로 단어 간 1:1 번역이기 ..

글로브(GloVe) 글로브(GloVe, Global Vectors for Word Representation)는 스탠퍼드에서 2014년 개발한 워드 임베딩 방법론입니다. 글로브는 카운트 기반의 LSA와 예측 기반의 Word2Vec의 문제점을 개선하기 위해 탄생했습니다. LSA는 문서 전체의 통계적인 정보를 활용한다는 장점이 있지만, 단어간 유사도를 측정하기 어렵다는 단점이 있습니다. 반면 Word2Vec은 단어 간 유사도를 측정할 수 있다는 장점이 있지만, 사용자가 지정한 위도우 내에서만, 즉 주변 단어(맥락 단어) 몇 개만 활용하여 결과가 도출되기 때문에 문서 전체의 단어 정보가 반영되기 힘들다는 단점이 있습니다. 글로브는 LSA와 Word2Vec의 장점을 합친 워드 임베딩 방법론으로 단어 간 유사도도..

Word2Vec은 워드 임베딩(Word Embedding) 방법론 중 하나입니다. Word2Vec을 설명하기 앞서 아래 예시를 한번 보겠습니다. 한국 - 서울 + 파리 = 프랑스 어머니 - 아버지 + 여자 = 남자 아버지 + 여자 = 어머니 직관적으로 이해하시는 분들도 있을 겁니다. 첫번째 예시를 보면 우선 한국이라는 단어에서 수도에 해당하는 서울을 빼줍니다. 한국에서 서울이라는 특성을 뺐으니 나라에 해당하는 껍데기 의미만 남아있을 겁니다. 거기에 파리를 더해주면 프랑스가 됩니다. 나라에 해당하는 껍데기에 파리라는 프랑스 수도를 더해주니 그 단어는 프랑스가 되는 것입니다. 마지막 예에서는 아버지에 여자라는 요소를 더해주면 어머니가 된다는 뜻입니다. Word2Vec을 활용하면 위와 같이 단어 간 관계를 파..

김유정의 소설이 일제강점기 농촌의 생활상을 그린 반면, 현진건의 소설은 주로 지식인의 삶을 그렸다. 중고등학생 때 한 번쯤 읽어봤던 운수 좋은 날은 인력거꾼 김첨지의 이야기를 다루지만 술 권하는 사회, 빈처, 타락자는 모두 지식인의 삶을 다루고 있다. 술 권하는 사회, 빈처, 타락자에는 모두 지식인으로서 꿈을 펼치고 싶어도 일제의 억압으로 그렇게 하지 못하는 고뇌가 담겨 있다. 그의 작품의 배경은 1920년 경이다. 김유정의 소설과 마찬가지로 일제강점기 시대를 담고 있다. 일제강점기 시절 한국문학을 읽으며 느끼는 것은 그때나 지금이나 어휘, 생활상은 달라도 인간의 감정은 똑같다는 것이다. '운수 좋은 날'의 인력거꾼 김첨지는 자기 아들뻘 되는 돈 많은 손님에게 굽신거리며 큰 돈을 벌기를 기대한다. '술 ..

단어를 밀집 행렬로 표현하는 것을 워드 임베딩(Word Embedding) 혹은 단어의 분산 표현(Distributed Representation)이라고 합니다. 밀집 행렬은 희소 행렬의 반대되는 개념으로, 대부분이 0이 아닌 값으로 채워진 행렬을 의미합니다. (밀집 행렬, 희소 행렬에 대한 자세한 사항은 NLP - 7. 희소 행렬 (Sparse Matrix) - COO 형식, CSR 형식을 참고해주시기 바랍니다.) 색을 예로 들어보겠습니다. 색을 표현할 때 우리는 흔히 RGB 형식을 사용합니다. (R, G, B) = (170, 33, 22)라면 빨강 계열의 색임을 알 수 있습니다. 이를 A색이라고 합시다. 또한 B색의 RGB는 (180, 20, 30)이고, C색의 RGB는 (20, 180, 30)이라고..