컴사랑의 이런 저런 이야기

오늘 "구글 파이어베이스를 이용한 손쉬운 모바일 앱 개발과 빅데이터 분석" 행사에 다녀 왔습니다. 파이어베이스(firebase) 및 구글 빅쿼리(BigQuery)에 대한 소개였습니다. 사실 저는 정말 운이 좋겠도, 데이터 분석에 구글 BigQuery와 아마존의 RedShift를 모두 사용하고 있습니다(물론 간혹 Spark도 씁니다). 둘 다 SQL 기반으로 데이터 분석을 할 수 있죠. 구글 BigQuery는 정말 정말 빠릅니다. 그리고 그 성능에 비해서 비용은 정말 쌉니다. 엄청난 장점이죠. 하지만 단점은 query당 과금입니다. 그래서 겁나서 함부로 query를 실행할 수 없어요. RedShift는 RedShift를 실행시킨 시간 당 과금입니다. RedShift도 빠릅니다. 하지만 BigQuery 정도..

바로 얼마 전에 제가 AWS의 Redshift의 단점으로 사용자 정의 함수를 지원하지 않는다고 했는데요.이런 틀렸네요 ㅠㅠ (영국) AWS 웨비나를 듣고 있었는데요지난 달부터, 사용자 정의 함수(UDFs)를 지원하는 것 같습니다. 사용자 정의함수는 Python으로 작성하는 것 같네요. 좋습니다~출처: https://aws.amazon.com/blogs/aws/user-defined-functions-for-amazon-redshift/ 참고로 구글 BigQuery도 UDFs를 지원합니다.

요즘 제가 사용하고 있는 기술 스택이, node.js, angularJS 그리고 AWS의 RedShift, 구글의 BigQuery 등입니다. 모두들 훌륭하지만, 그 중에서 RedShift에 많은 감동을 받고 있어요.RedShift는 내부적으로 PostgreSQL을 사용하고 있지만 일반적인 DBMS와는 좀 다릅니다. 단순 검색을 목적으로 한다면 맞지 않습니다. 전체 데이터를 대상으로 count나 sum 등을 하는데 적합합니다. 인덱스도 없습니다.하지만 대용량 데이터를 정말 빠르게 처리하는 것 같습니다. 그리고 구글 BigQuery도 그렇지만, 외부로 노출된 것이 SQL( 또는 SQL-like)라서 정말 쓰기 편합니다. Hadoop이 이런 일을 할 수 있지 않냐구요? 네 맞습니다. 하지만 Hadoop을 사용..