Author: logan.wvl

Related Posts

언어모델의 원리와 만들기

언어모델 언어 모델(Language model)은 주어진 단어들의 시퀀스에 대해 임베딩 표현(Embedding representation) 또는 벡터(Embedding vector)를 만들어 줍니다. 언어 모델을 통해 만든 임베딩 표현으로 주제 찾기, 감정

AQE: Coalescing Post Shuffle Partitions

안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다.  응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 지난 번 글인 “Spark

Spark Shuffle Partition과 최적화

안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다.  응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 여기에서는 Spark Partition에 대한