[AWS] Athena

Amazon Athena는 서버리스 대화식 쿼리 서비스라고 소개하고 있다. 그러나 우리가 주목해야 할 핵심은 'Amazon S3의 데이터를 표준 SQL로 분석'할 수 있다는 것이다. 로그같은 대규모 데이터는 EBS나 ElasticSearch 등에 적재하기에는 너무 큰 비용이 발생하기 때문에, 접근이 적게 일어나는 시점부터(일주일인 곳도 있고, 한 달인 곳도 있고..)의 로그는 S3와 같은 스토리지에 저장하게 된다. 접근 속도는 느리겠지만 말이다. 그런데 문제는 접근 속도가 아니라 S3에 파일 형태로 저장된다는 점인데, athena가 이 문제를 해결해 준다.

S3에 적재되어 있는 데이터의 스키마만 테이블처럼 정의해 두면, 표준 SQL로 이들을 쿼리할 수 있게 된다.

Amazon Athena console에서 자체적으로 제공하는 create table wizard, 쿼리 에디터에서 hive 형태의 DDL statement, athena api, ODBC driver 등을 이용해 테이블을 생성할 수 있다. athena는 내부적으로 페이스북이 개발한 분산 SQL 쿼리 엔진인 presto를 사용하여, Hive/MapReduce에 비해 10배 정도 빠르다고 소개한다.