본문 바로가기

전체 글

 (16)
[선형대수] 벡터와 행렬의 개념 선형대수(Linear Algebra)란 벡터, 행렬, 선형 연립방정식 등을 연구하는 한 분야입니다.수학(mathematics), 물리학(physics), 공학(engineering) 등 다양한 분야에서 사용됩니다. 이번 글에서는 선형대수의 가장 기본이 되는 벡터와 행렬의 개념을 간단히 정리해 보겠습니다. 벡터(Vectors)란 여러 개의 숫자를 순서대로 나열한 것이라고 생각할 수 있습니다.예를 들어, [1, 2, 3]과 같은 형태입니다. 이러한 벡터는 각 성분끼리 더하거나, 하나의 숫자를 곱하는 연산이 가능합니다. 또한, 벡터는 기하적으로 "크기(magnitude)와 방향(direction)을 가진 화살표(arrows)"라고도 이해할 수 있습니다.예를 들어, 원점에서 특정 방향으로 향하는 화살표 하나가 ..
AI 공부를 위해 구독 중인 뉴스레터 정리 급격하게 변화하는 AI 트렌드를 따라가기 위해서 뉴스 레터를 구독하기 시작했다.욕심만 많아서 여러 개 구독해두고 다 읽어보지는 못하고 있는데 구독한 것 중에서 개인적으로 괜찮은 것을 추려봤다. 1. Weekly deep daiv. (https://deepdaiv.stibee.com/)매주 수요일마다 하나의 주제에 대해서 뉴스레터를 보내준다.한국어여서 부담없이 읽기 좋다.하나만 고르라고 하면 Weekly deep daiv.를 추천할 것 같다. 2. CatchPaper (https://catchpaper.beehiiv.com/)링크드인에서 우연히 발견했다.최신 트렌드 논문 10개를 요약해서 뉴스레터를 보내준다.지난 번에 구독하려고 했을 때 버튼 클릭이 안되서 못했었는데, 오늘 다시 눌러보니 동작을 한다.요..
Python 내장 함수 정리 (A~E) 본 게시글에서는 Python에서 기본으로 제공되는 내장 함수 A~E에 해당하는 함수들을 소개한다. 내장 함수를 잘 활용하면 코드를 더 간결하게 만들 수 있다. 기본적인 함수와 자주 사용하는 함수만 정리했고, 나머지 함수들은 Python 공식 문서에서 더 자세하게 공부할 수 있다. A abs(x) 절댓값 구할 때 사용하는 함수다. n = 123 abs(n) >> 123n = -123 abs(n) >> 123all(iterable) iterable의 모든 요소가 True 또는 비어있으면 True를 반환한다. l = [1, 2, 3, 4, 5] # 모든 요소가 int 타입인가? all(x for x in l if type(x) == int) >> Trueany(iterable) iterable의 요소 중 하나..
Language Model 관련 연구 리스트(2017~2020) Transformer 제목: Attention Is All You Need 연도: 2017 학회: NIPS url: https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf github: 정리: [논문] Attention Is All You Need | Transformer ELMo 제목: Deep contextualized word representations 연도: 2018 학회: NAACL url: https://arxiv.org/pdf/1802.05365.pdf github: GPT 제목: Improving language understanding by generative pre-training..
Passage Retrieval 관련 연구 PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval 요약 Document-to-Document 검색을 위한 PARM(Paragraph Aggregation Retrieval Model)과 PARM에 적합한 순위 집계 함수 VRRF(Vector-based aggregation with Reciprocal Rank Fusion) 제안 연도: 2022 논문 url: [2201.01614] PARM: A Paragraph Aggregation Retrieval Model for Dense Document-to-Document Retrieval github: GitHub - sophiaalthammer/parm..
[논문] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT는 Transformer 이후에 나온 모델이다. Transformer에서 Encoder 부분을 사용한 모델로 BERT 이후에 BERT 기반으로 개선하고 발전시킨 연구들이 많이 등장했다. 논문: https://arxiv.org/abs/1810.04805 github: GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT BERT(Bidirectional Encoder Representations from Transformers) 앞에서도 말했듯이 BERT는 Transformer의 Encoder와 같은 구조이다. Transformer 설명은 [논문] Attention Is All You Need | Transfor..
[논문] Attention Is All You Need | Transformer 기존 NLP에서는 RNN 기반의 모델들이 주로 사용되었다. 2017년 구글이 Attention is all you need 논문을 발표하면서 Transformer 모델이 등장했고, 현재 NLP에서는 Transformer 기반으로 모델들이 발전되고 있다. 본 게시글은 Attention is all you need 논문과 여러 블로그의 글을 읽고 정리한 글이다. Transformer Transformer는 기계 번역 모델로 공개되었으나 다양한 NLP task에 활용된다. 기존 기계 번역 모델과의 차이점은 아래와 같다. RNN, LSTM 등을 사용하지 않고 Attention만으로 구현됨 입력을 순차적으로 받지 않기 때문에 임베딩 벡터에 단어의 순서 정보를 추가함 모델 구조 Transformer는 Sequenc..
추천 시스템 성능 평가 지표(Precision@k, Recall@k, Hit@k, MAP, MRR, nDCG) 추천 시스템이란 말 그대로 사용자가 좋아할만한 것들을 추천해주는 시스템이다. 추천 시스템은 단순히 사용자가 선호하는 아이템을 추천해주는 것 보다는 사용자가 가장 선호하는 아이템을 먼저 추천해주는 것이 더 좋은 추천 시스템이라고 볼 수 있다. 이번 글에서는 추천 시스템의 성능을 평가하는데 사용되는 metrics를 소개한다. Precision@k k개의 추천 중 선호 아이템이 얼마나 존재하는지를 측정한다. 선호 순서(rank)는 고려되지 않는다. $$ Precision@k = \frac{\sharp \ of \ recommended \ items \ @k \ that \ are \ relevant}{\sharp \ of \ recommended \ items \ @k} $$ Recall@k 전체 선호 아이템..

티스토리툴바