Rake manual

Rake란

• Rake는 앱이나 웹으로부터 직접 로그를 수집하는 수집 시스템이다.
• 앱이나 웹에 한 블럭의 코드를 넣는 것으로 쉽게 로그 수집이 가능하다., android, web, mobile web의 로그 수집을 지원한다.
• 내부적으로 클라이언트는 오픈 소스인 mixpanel을 이용하여 일부 기능을 수정, 추가하였으며, 서버는 자체 개발되었다.

Download

(11월 19일)android 0.3.14 버전에서 sentinel_meta 항목을 확장할 수 있도록 변경했습니다.

(9월 17일)android 0.3.13 버전에서 MDN 필드를 제거했습니다. (기존에는 빈 값이었음)

(6월 10일)android 0.3.10 버전부터 MDN 자동 수집 대상에서 제외했습니다. (CV추진팀 요구 사항)

(5월 30일)iOS client 1.7.5, android client 0.3.9 버전부터 sentinel shuttle 활용할 수 있도록 변경되었습니다.

(4월 29일)iOS client 1.7.0, android client 0.3.3 버전부터 Mixpanel클래스가 Rake클래스로 변경되었습니다.

(4월 29일)iOS client 1.7.0, android client 0.3.3 버전부터 자동 수집 필드들의 형식이 camelCase에서 snake_case로 변경되었습니다.

(4월 10일)최신 버전부터 track 함수 인자에서 event가 제외되고 dictionary(ios)/JSONObject(android)만 받도록 변경되었습니다.

iOS (사용법)

• 2014-05-30 rake-0.5.0-client-1.7.5 (latest)

• 2014-04-29 rake-0.5.0-client-1.7.0 (camelCase -> snake_case로 변경)

• 2014-04-10 rake-0.5.0-client-1.6

android (사용법)

• 2014-11-19 rake-0.5.0-client-0.3.14 (latest) (stable)

• 2014-12-04 rake-0.5.0-client-0.1.4 TSports 전용 (예전코드)

• 2014-09-17 rake-0.5.0-client-0.3.13 (mdn 필드 제거)

• 2014-08-29 rake-0.5.0-client-0.3.12 (multi-thread tested)

• 2014-07-28 rake-0.5.0-client-0.3.11 (rake server 지정 API (setRakeServer()))

• 2014-06-10 rake-0.5.0-client-0.3.10 (mdn 자동수집 제외)

• 2014-06-10 rake-0.5.0-client-0.3.10-smartwallet 스마트월렛 용 (mdn, device_id 자동수집 제외)

• 2014-05-30 rake-0.5.0-client-0.3.9

• 2014-04-29 rake-0.5.0-client-0.3.3 (camelCase -> snake_case로 변경)

• 2014-04-23 rake-0.5.0-client-0.3.3-pick1 (pick1용 - deviceId 수집 제외, camelCase --> snake_case로 변경)

• 2014-04-10 rake-0.5.0-client-0.3.2

• deprecated rake-0.5.0-client-0.1.2

• deprecated rake-0.4.1-client-0.1.0

어떤 순서로 작업을 하면 되나?

로그 입수 신청과 문의는 DI service desk에서 할 수 있다.

1. Setinel을 사용한다면(현재는 기본 사용해야 함), 먼저 sentinel id/password를 발급받아 로그 정의를 해야하며, sentinel shuttle library를 발급받아 rake client와 함께 사용해야 한다.
2. Rake 관리자로부터 id/password를 발급받는다.
3. https://web.rake.skplanet.com:8443/log/ 에 접속하여 로그인 한 후, 토큰을 발급받는다. (Token 발급 참고)
4. "쉽게 코드 넣기"를 보고 iOS, android, web, mobile web에 코드를 추가한다.
5. 개발 중에 Tailer를 통해 로그가 잘 전달되는 지 확인한다.
6. 서비스를 사용자에게 배포하기 전에는, 실 환경용 token을 받는다. 개발 token 대신 실 환경용 token을 사용한다.
7. Sentinel을 통한 로그 정의, Rake 개발 모두 완료되면, 실 환경 모드(token, flag 변경)으로 변경하여, 실 환경에서 로그를 보내본다.
8. 실 환경에서 로그를 보낸 후, Hadoop 연동 요청을 Rake 담당자에게 요청한다. 이 작업은 실 서비스 오픈 전에 하는 것을 권장함. (hadoop 연동 요청이 되야 실환경 로그가 hadoop 에 적재됨)

Token 발급하기

Token이란?

• Token이란 인증을 위해 발급되는 일련의 문자열이다.
• 앱, 웹 상에서는 문자열 그대로 복사해주면 된다.
• 개발 환경의 토큰과 실 환경의 토큰은 서로 구분되어 있다.
• 한 프로그램에서는 하나의 토큰만을 사용한다. 서로 다른 프로그램(앱)이라면 다른 토큰이 필요하다.
• 개발 토큰과 실 토큰을 구분하는 이유는 개발 로그가 섞이지 않게 하기 위함이다. 개발용 토큰이 남아 있을 경우 실환경에 유입되는 것을 최대한 막기 위함이다.

Token 발급

• 개발 환경 토큰과 실환경 토큰 모두 다음의 url에서 발급 받을 수 있다.
  • https://web.rake.skplanet.com:8443/log/
  • 개발환경을 playground(pg) 라고 부른다.
• 개발 토큰은 3개까지 제한되어 있다. 실 환경 토큰은 1개만 발급할 수 있다.
• 관리자에 의해 id/password가 발급된 경우에만 사용이 가능하다.

쉽게 코드 넣기

Anroid

iOS

Javascript (web, mobile web)

Java

개발 환경과 실 환경

• Rake는 실 환경과 더불어 개발환경도 제공한다.
• 개발자가 개발환경에서 개발할 수 있도록 별개의 서버를 제공한다.
• 개발환경에서는 서버에 쌓이는 raw 데이터를 확인할 수 있다. 따라서 개발코드가 서버에 잘 도착하는 유효한 코드인지 확인이 가능하다.
• 실서버에서는 개발자가 보안 관련 문제로 서버에 쌓인 raw 데이터를 확인할 수 없다.
• 실환경에 쌓이는 데이터는 정식으로 통계처리를 위한 데이터로 간주되며, 개발환경 데이터는 버려진다.

개발 환경을 실 환경으로 전환하기

• 개발 환경에서 개발하다가 실서버로의 전환할 때에는 다음의 사항을 수정함으로써 간단하게 전환할 수 있다.
  • 프로그램상에서 flag를 수정 or 서버 url을 변경 (각 메뉴얼 페이지 참고)
  • 추가로 실 환경의 토큰을 새로 발급받아 적용해야 함

Log tailer : 수집한 로그의 tail 보기

• Log tailer란 서버가 수집한 로그의 마지막 일부분을 보여주는 서비스
• 클라이언트에서 로그를 flush 한후 log tailer를 통해 확인하면 서버 전송 여부를 확인할 수 있다.
• 항상 마지막 20 ~ 40개의 로그만을 표시하며 지난 로그는 표시되지 않는다. 서버가 restart되면 refresh 된다.
• 개발환경에서만 제공된다.
• https://web.rake.skplanet.com:8443/log/ 에 접속하면 확인할 수 있다.
• 실서버에서는 보안 문제로 오픈되지 않는다.
• Tailer 사용법 보기

Api

• 현재 token 생성, 검색하는 api를 제한적으로 제공하고 있다.
• [Server api](Rake server api)

로그 데이터 정의

• 세션과 개인 정보와 같이 이슈가 있는 로그 항목에 대해 이슈와 정의 방법을 기술한다.
• 자세한 내용은 [로그 데이터 정의](로그 데이터 정의) 페이지에 자세히 기술되어 있다.

참고

skplanet 개발자라면 위키 페이지에서 더 상세한 내용을 참고할 수 있다. 최근 내용이 모두 반영된 문서는 본 문서이며, 계속 최신으로 유지될 예정임

만든 사람

• Jongmin Lee, SK Planet - server s/w engineer
• Junghyun Kim, SK Planet - client s/w engineer

License

• Mixpanel과 JSnappy는 Apache v2 라이센스를 따르고 있습니다.
• 라이센스에 따라 이를 사용하는 앱에서는 라이브러리 사용 여부를 표시해야 합니다. (라이센스 전문 또는 링크)
  • Apache V2 라이센스 전문 : http://www.apache.org/licenses/LICENSE-2.0.html
  • 각 라이브러리의 라이센스 전문 링크(Apache V2)
  • JSnappy : http://code.google.com/p/jsnappy/source/browse/trunk/LICENCE.txt
  • Mixpanel iphone : https://github.com/mixpanel/mixpanel-iphone/blob/master/LICENSE
  • Mixpanel android : https://github.com/mixpanel/mixpanel-android/blob/master/LICENSE
• Rake 클라이언트 라이브러리는 Mixpanel과 JSnappy(rake0.3 에 사용된 압축 라이브러리) 라이브러리를 사용하고 있습니다. (0.3.5부터 사용 안합니다.)