[2주차] 3장 정리

[cheese10yun]

스터디 진행 방식

• 3장에 대한 내용 해당 Repo or 개인 저장소 정리 이후 본문에 링크 첨부
• 본인의 생각, 궁금한거, 이해 안가는거 등등 본인의 생각이 들어간 부분 꼭 작성 하기, 아무말 대잔치 환영
• 의무는 아니지만 스터디 시작전에 다른 스레드에 질문, 답변 등등 해주기 -> 진행 자가 조금이라도 편하게

본인들의 생각들을 자유롭게 이야기하고 토론하는 형식으로 스터디를 진행했으면 합니다.

[cheese10yun]

• 3장 정리

의견

도큐먼트 CURD Rest API 지원

• 해당 도큐먼트에 대한 CURD가 HTTP 통신 기반으로 지원하기 때문에 각 인프라에 대한 결합도가 낮아 지는거 같음
• CURD를 다 지원 해주기 때문에 어드민 및 내부적으로 사용할 때 생산성이 매우 좋아 보임
• 수정에 대한 비용이 상대적으로 비싸기 때문에 RDBMS 처럼 상태를 지속적으로 관리하는 데이터가 아닌 데이터가 타임라인으로 흘러가는 데이터, 비정규화 데이터에 매우 적잡하다고 생각. RDBMS 처럼 사용하는것은 바람직하지 않을거 같다는 확신이 더 생김
• 삭제 또한 비용이 비싸기 때문에 수정과 동일
• 벌크 작업 JSON 규격이 신선 했음, NDJSON 형태 라고하는데 통신 데이터를 줄이기 위함인지 무었 때문에 NDJSON 형태로 사용하는지는 의문

{"index": {"_index": "index2", "_id": "4"}}
{"name": "park", "age": 30, "genger": "female"}
{"index": {"_index": "index2", "_id": "5"}}
{"name": "jung", "age": 50, "genger": "male"}

매핑

원본 소스 데이터 타입	다이내믹 매핑으로 변환된 데이터 타입
null	필드를 추가하지 않음
boolean	boolean
float	float
integer	long
object	object
string	string 데이터 형태에 따라 date, text/keyword 필드

• 유연한 설계를 위해 매핑 다이나믹 매핑, 명시적 매핑을 지원함
• 데이터 로그 같은 비정형적인 데이터들은 다이나믹 매핑이 더 좋아 보이기 하는데... 그 다지 효율적이지 못한 부분이 큰 거 같음
• 문자열의 경우, 키워드, 텍스트 두 가지 타입으로 분리되어 있는데 다이내믹 매핑을 사용하는 경우 텍스트를 기본으로 선택하는거 같음, 특정 경우에는 매우 비효율적 이기 때문에 조심 해야할거 같음
  • 키워드 타입은 자바의 Enum 형태 처럼 카디널리티가 낮은 항목에 적합 하고, 이후 집계 및 다양한 활용 방법등이 많음
  • 전문 검색에 최적화 되었고 전문 검색을 진행하는 프로젝트는 거의 없어 지금 프로젝트에서는 사용할 일이 거의 없을 듯

인덱스 템플릿

• 특정 패턴으로 포함되는 경우 사전에 등록한 템플릿 기반으로 인덱스를 생성해 줄 수 있는 방식
• 인덱스 명에 대한 패턴으로 작동 하는데 특정 이름 패턴으로 매칭 시키는 것도 좋지만 필드명에 대한 이름으로 매칭 시키는 것도 좋을거 같으데 찾아 보진 않음 email, name, nickname, address 등 일반적으로 많이 사용하는 필드명에 대한 패턴으로 동작 시키는게 훨씬 효율적일거 같음
  • 다이나믹 템플릿을 잘 사용하면 될거 같긴한데... 그럴 빠에는 명시적 매핑을 사용할거 같음...

분석기

• 엘라스틱의 가장 중요한 부분이라고 생각
• 엘라스틱에서 검색을 잘 하기 위해서는 분석기를 통해서 잘 저장된 상태를 유지 해야함

구성요소	설명
캐릭터 필터	입력받은 문자열을 변경하거나 불필요한 문자들을 제거한다.
토크나이저	문자열을 토큰으로 분리한다. 분리할 떄 토큰 순서나 시작, 끝 위치도 기록한다.
토큰 필터	분리된 코큰들의 필터 작업을 한다. 대소문자 구분, 형태소 분석 등의 작업이 가능하다.

역인덱싱

• 분석기를 거쳐서 역인덱싱 작업을 진행한타 캐릭터 필터 -> 토크나이저 -> 토큰 필터로 최종적으로 인덱승 되어 저장된다.
• _analyze API를 제공해 주고 있어 어떤 분석기, 토크나이저, 필터 들이 동작하는지 알 수 있다.
• 커스텀 분석기으로 차제적으로 인덱싱하는 방법을 직접 개발할 수 있다, 커스텀 분석기 까지 쓸 정도면 엘라스틱 서치를 하드하게 많이 쓴다고 볼 수 있을거 같다.

POST _analyze
{
  "analyzer": "stop",
  "text": "The 10 most loving dog breeds."
}

{
  "tokens" : [
    {
      "token" : "most",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "loving",
      "start_offset" : 12,
      "end_offset" : 18,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "dog",
      "start_offset" : 19,
      "end_offset" : 22,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "breeds",
      "start_offset" : 23,
      "end_offset" : 29,
      "type" : "word",
      "position" : 4
    }
  ]
}

[Flamme1004K]

1. ndjson을 사용하는 이유가 Json이 \n 기반으로 저장이 되기 때문에 한줄로 정의해서 하나의 json으로 저장하기 위함이 아닐까요??🤔
2. 전문 검색에 처리에 대한 경험담이 궁금합니다.
   2-1 한국어 분석기에 대해서는 노리를 사용하여 처리를 하셨나요?
   2-2 아니면 한국어를 ngram으로 잘라서 처리를 했나요?
   2-3 분석기를 달으셨는지 아니면 분석기에 대한 결과를 백엔드서버에서 만들고 엘라스틱서치에 넣었는지 궁금합니다 😊

[cheese10yun]

저희팀은 전문 검색을 할 일이 없어서 형태소 분석같은 것은 사용해 본적이 없어요. ndjson을 사용하는 이유가 대량 전송시 데이터 크기를 줄이는데 효율적이라고 생각해서 채택한거 같은데 좀 봐야겠네요

[cheese10yun]

https://medium.com/@kandros/newline-delimited-json-is-awesome-8f6259ed4b4b 오 스트리밍 할 때 최적화 때문에 하는 거네요. 스트리밍 할 떄는 단건씩 계속 가져가야 하기 때문에 해당 방식이 훨씬 효율적이네요. 이런 부분은 생각을 못했는데

[knae11]

오 이부분 읽으면서 특이하다 생각했는데 👍 👍

[Flamme1004K]

• 3장 정리1 - 79page ~ 96Page
• 3장 정리2 - 96Page ~ 136Page

의견

도큐먼트 CRUD

• ElasticSearch의 CRUD 과정을 깊게 공부하려면 Lucene 코드를 봐야할 것 같음.
• 업데이트 쿼리를 PUT을 써서 기존 데이터를 삭제하고 다시 덮어써서 비용이 많이 든다고 하는데, 엘라스틱 서치를 사용하고 업데이트가 자주 일어나는 환경에서는 PUT 대신에 처리할 수 있는 방법이 궁금함.
  • ReIndexing 하나의 데이터를 미리 보여주고 그 이후에 다른 데이터를 만들어서 Alias를 교체해주는 방법도 있다고 함.
• elasticSeach도 RDB와 마찬가지로 Delete는 항상 부르기 좋게 생겼다.

벌크 데이터

• ElasticSearch는 롤백이나 트랜잭션 개념이 없기 때문에 bulk Insert시에 실패하면 중간 까지의 작업만 완료된다고 함. 어디까지 완료되었는지 확인이 어렵기 때문에 삭제 후 다시 인덱싱 해주는게 좋다고 하는데, ElasticSearch 롤백이나 트랜잭션에 대한 가이드 링크가 있을까요?

명시적 매핑

• 명시적 매핑을 하더라도, 데이터를 추가할 때 명시적으로 매핑 된 값 이외에 다른 값이 있다면 자동적으로 추가된다는데, 이를 막을 수는 없을까?

인덱스 템플릿

• Vue.js에서 template을 만들어서 사용했었던 기억이 나서 친근했음.

분석기

• 우리나라말은 매우 어렵다. 과연 한국어 분석기가 잘 작동되어 전문 검색을 할 수 있을까요? 포퍼먼스가 떨어진다면 어떻게 해결을 해야할까요?
• 이러한 한국어 분석기는 나중에 커스텀 분석기로 만들어서 한국어 사전을 넣어서 관리하도록 해야할 것 같다는 생각이 듭니다.

커스텀 분석기

• 네이버, 구글, 카카오 등 전문 검색에 대해서는 커스텀 분석기가 들어갔을 것 같은데, 구조가 너무 궁금해지네요. 관련 커스텀 분석기 자료가 있는지 찾아봐야되겠습니다.

공유

• Elastic 가이드북 : ElasticSearch에 대한 기본 가이드 Request에 대한 Response를 바로바로 확인할 수 있어서 좋았음.
• Chrome 확장프로그램 중에 ElasticVue라고 있는데 키바나 없이 바로 ElasticSearch에 붙어서 사용하기 좋았음.

회고

요번 3장을 읽으면서 엘라스틱서치에 대한 기본적인 내용을 알았는데, 책이 엘라스틱 스택에 대해 전체적으로 설명한 책이라 하나하나에 대해서는 깊게는 들어가지 않은 느낌이 듭니다. 깊게 들어가서 공부하는 것은 저의 몫이 돼버렸네요. 개인적으로 깊게 공부하여 공유해 보도록 하겠습니다 🙇🏻

[cheese10yun]

트랜잭션 처리가 없어서 사실 좀 문제라고 생각이 들긴 했는데. 제가 너무 RDBMS 기준으로만 영속화 솔루션을 바라보는게 아닌가 생각이 드네요. 실패 하면 기존 데이터를 지워야 하는 경우가 발생할 텐데 또 삭제 처리는 비용이 상대적으로 비싸다고 하니 음... 뭐 그래도 삭제 하고 처리할거 같은데 저도 이 부분이 고민 이네요

[SSONG22]

• 3장정리

의견

• 다양한 토크나이저와 토큰 지원에 커스텀 분석기를 통해서 더 유연성있는 검색도 가능할테니, 왜 엘라스틱서치를 많이 쓰는지 이해가 됐습니다 👍
• 엘라스틱서치가 6.6 부터 공식적으로 지원한 노리 한글 형태소 분석기를 쓰게 된다면 한글 품사 공부부터 해야 될 것 같습니다 😂 (노리 한글 형태소 분석기)

[knae11]

노리..복잡하네요..ㅎㅎㅎ

[knae11]

김나은

• 3장 정리

의견

• 엘라스틱서치 기본 사용법을 하나하나 따라해볼 수 있어서 흥미로운 부분들이 꽤 있었습니다.
• string 타입인 text, keyword 차이가 궁금했는데 중요한 특징을 가지고 있더라구요!
• 분석기를 통해서 인덱싱 되는 값들을 커스텀 할 수 있는 부분도 흥미로웠습니다~
• 기존에 키바나에서 콘솔 지원해주는지 모르고 postman 사용해서 api 보냈었는데 여러 탭 켜놓고 사용할 수 없는건 좀 불편하지만 자동완성도 해주고, 문법체크도 해주고 좋네요!
• ndjson다른 분들이 위에 논의해주셔서 왜 다르지 했는데 대량으로 넣는 작업에 최적화되어서 사용되는 거군요! ndjson 벌크작업에 json이랑 비슷한데 문법이 다르게 사용되는 부분 좀 유의해야겠어요! 읽기 모델은 지원하지 않는 건.. 키바나나 다른 시각화 도구들이 지원해주기 때문일까요..?!

[ors-woon]

3장정리

의견

• 평소 kibana 사용 시, text / keyword 타입이 뭐가 다른지 궁금했었는데 정리가 잘 되어 있어 유익한 시간이였습니다 👍
• 설정 파일로 봤던게 index template 이라는것도 알게 되었고, 다른 환경에서 이를 어떻게 사용하고 있는지도 궁금합니다 :)
  • 저희팀은 비정형 데이터 (log / object) 를 저장하고 있다보니, shard / replica 수만 정의하고 template 기능은 사용하고 있지 않은데, 실제로 사용하는 경우가 어떤 경우 일까요 ?
• 분석기 같은 경우, 특별히 정의하지 않았는데 사용하시는 경우가 있을까요 ?
  • 마찬가지로 딱 로그 용으로만 사용하다 보니 ..

[Flamme1004K]

index template 설정 공유드립니다.

• https://yookeun.github.io/elasticsearch/2018/11/18/elastic-template/
• https://oboki.net/workspace/data-engineering/elasticsearch/elasticsearch-index-template/

[ria0864]

3장 정리

의견

---

• 3.3.2 도큐먼트 생성 ~ 3.3.3 도큐먼트 읽기 내용 중 엘라스틱서치는 사용자 입력 실수를 고려해서 자동으로 데이터 형변환해서 저장한다고 했는데 GET API로 도큐먼트 읽어봤을 때 데이터 타입을 잘못 입력한 초기 값이 출력되었습니다. 내부적으로 초기 입력값도 따로 저장하고 있는걸까요?
• 엘라스틱서치의 기본 개념들을 처음 접해봤는데 왜 1장에서 NoSQL 얘기를 했는지 이해가 되었습니다
• 키바나의 콘솔로 실습해보면서 확인해보니까 확실히 좀 더 이해에 도움이 되는 것 같습니다.