Tag: spark

Related Posts

AQE: Coalescing Post Shuffle Partitions

안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다.  응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 지난 번 글인 “Spark

Spark Shuffle Partition과 최적화

안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다.  응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 여기에서는 Spark Partition에 대한

루빅스(RUBICS) – kakao의 실시간 추천 시스템

루빅스는 실시간으로 사용자 반응을 분석하여 콘텐츠를 추천하는 카카오의 추천 시스템입니다. 2015년 5월에 다음 포털 뉴스 서비스의 일부 사용자를 대상으로 뉴스 기사를 추천하기 시작했고, 한달 뒤인