K 결정 및 알고리즘 성능 판단(실루엣 이용) 함수 추가, 테스트 #33

A-by-alimelon · 2020-11-26T08:21:45Z

구현내용

[feat] [test]

k 결정 방법 Rule of Thumb 구현
k 검증 - Average Silhouette Calculator 클래스 구현
테스트 함수 작성

Silhouette Method

현재 클러스터의 응집도와 다른 클러스터 간의 결합도를 정량적으로 판단하여 클러스터링이 잘 되었는지 판단하는 방법

i번째 데이터에 대하여

a(i) : 같은 클러스터 안에 있는 다른 데이터 포인트와의 평균거리(dissimilarity).

b(i) : i가 속하지 않은 다른 클러스터와의 평균 거리 중 가장 작은 거리

해석

b가 a보다 많이 클수록 1에 가까워지고 좋다.
0이면 지금 클러스터나 이웃 클러스터나 어디 있든 상관 없다.
silhouette는 -1 부터 1 사이의 값을 가진다 → 1일수록 잘 부합하는 거고, -1일수록 잘못 뭉쳐져 있다는 뜻

논의사항

rule of thumb와 silhouette 검증 방법을 결합해서 적절한 K 값을 구하는 방법을 사용하면 좋을 것 같은데,
어떻게 결합할지 논의해 보면 좋겠어요!
많은 피드백 부탁드립니다🙇🏻‍♀️

화면

- 5000개 데이터 일 때 K 확인 - 8000개 데이터 일 때 K 확인

다른 점과의 거리 구하는 distanceTo 함수 + 연산 - 연산 / 연산

각 점에서의 클러스터 내의 응집도를 구하는 findCohesion 함수 구현 각 점에서의 실루엣 값을 구하는 findSilhouette 함수 구현

cluster equtable 채택 다른 클러스터와의 분리도를 구하는 findSeparation 구현

클러스터의 각 점에 대한 실루엣 값의 평균 계산

center 연산 프로퍼티로 변경

A점 silhouette 값 테스트 B점 silhouette 값 테스트 클러스터1 평균 silhouette 값 테스

eunjeongS2

테스트할때 계산하시느라 고생하셨겠네용 ㅠㅠ
고생하셨어요 ~~~~

eunjeongS2 · 2020-11-26T09:03:47Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+func KwithRuleOfThumb(numberOfData: Int) -> Int {
+    return Int(sqrt(Double(numberOfData/2)))
+}


이거 return 생략 가능한거 어떻게 맞추면 좋을지 논의해보면 좋을 거 같애용 ㅎ_ㅎ

return 이 생략가능하다는게 어떤 의미인지 좀 더 설명해 주실 수 있나요!!

func KwithRuleOfThumb(numberOfData: Int) -> Int { Int(sqrt(Double(numberOfData/2))) }

이렇게용 ! 함수내부에 반환만하면 return 생략 가능하지 않나요 ~~

아 오오 이런 방법이 있는 줄은 몰랐네요! 생략을 하는게 더 나을까요 ? ? 논의 해봅시당 ㅎㅎ

eunjeongS2 · 2020-11-26T09:04:32Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+    }
+
+    func findAverageSilhouette(cluster: Cluster) -> Double {
+        var silhouettes  = [Double]()


띄어쓰기가 두번이..

린트에서 오류가 뜨진 않았나요?

eunjeongS2 · 2020-11-26T09:06:53Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+    }
+
+    // 점과 현재 포함된 클러스터의 응집도 계산
+    func findCohesion(in cluster: Cluster, target: Coordinate) -> Double {


응집도 계산이라서 find 보다 calculate 이런게 나아보여요!
제가 동작을 잘 몰라서 그런거일수도 있습니당

클래스 명이 계산기니까 calculate가 더 나아 보이네요!!

그냥 cohesion 도 괜찮을거 같구용 !

eunjeongS2 · 2020-11-26T09:07:15Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+    }
+
+    // 점과 포함되지 않은 클러스터 간의 분리도 계산
+    func findSeparation(in cluster: Cluster, target: Coordinate) -> Double {


여기두 calculate가 나을거같은데 아니면 말씀해주세용!

eunjeongS2 · 2020-11-26T09:08:00Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+        return silhouettes.reduce(.zero, +) / Double(silhouettes.count)
+    }
+
+    func findSilhouette(with cluster: Cluster, target: Coordinate) -> Double {


여기두 계산아닌가용..?

eunjeongS2 · 2020-11-26T09:09:08Z

Project17-C-Map/InteractiveClusteringMap/QuadTree/BoundingBox.swift

+        let powX = pow(self.x - other.x, 2.0)
+        let powY = pow(self.y - other.y, 2.0)
+
+        return sqrt(powX + powY)
+    }
+
+    static func + (left: Coordinate, right: Coordinate) -> Coordinate {
+        let x = left.x + right.x
+        let y = left.y + right.y
+        return Coordinate(x: x, y: y)
+    }


여기 개행 통일하면 보기 더 예쁠(?) 것 같아용 ㅎㅎ
지금도 좋습니다 ~~!

eunjeongS2 · 2020-11-26T09:11:45Z

Project17-C-Map/InteractiveClusteringMapTests/KDefineTests.swift

+        XCTAssertEqual(KwithRuleOfThumb(numberOfData: numberOfData), expected)
+    }
+
+    func test_find_find_cohesion() throws {


test_find_cohesion() ...?
밑에는 이렇게 되어있는 것 같아서요 ~~

엥 이상한 이름들이 많네요 큐ㅠㅠ 바로 수정하겠습니다!

rnfxl92 · 2020-11-26T10:14:54Z

Project17-C-Map/InteractiveClusteringMapTests/KDefineTests.swift

+    func test_find_silhouette_A() throws {
+        guard let result = avc?.findSilhouette(with: cluster1, target: cluster1.coordinates[0]) else {
+            return
+        }
+
+        let expected = 0.619912
+        XCTAssertEqual(expected, result, accuracy: accuracy)
+    }
+
+    func test_find_silhouette_B() throws {
+        guard let result = avc?.findSilhouette(with: cluster1, target: cluster1.coordinates[1]) else {
+            return
+        }
+
+        let expected = 0.717126
+        XCTAssertEqual(expected, result, accuracy: accuracy)
+    }


이 두 테스트 함수의 차이는 무엇인가요??? 같은 행동을 한다면 하나의 함수에서 하는건 어떤가요?

테스트 함수당 xctAssert 함수가 하나씩 들어가는 게 이상적이라고 생각해서 나눴습니다!!

beggu84

궁금증. 여기서 말하는 '실루엣'이 무슨 의미로 쓰인거에요?

beggu84 · 2020-11-26T10:56:04Z

Project17-C-Map/InteractiveClusteringMap/QuadTree/BoundingBox.swift

@@ -56,6 +83,11 @@ struct Coordinate: Equatable {
 }

 struct Cluster {
-    let center: Coordinate
-    let coordinates: [Coordinate]
+    var coordinates: [Coordinate]


얘(coordinates) 는 let 으로 놔둬도 되지 않아요? 나중에 수정할 예정인건가요.

여기는 팀원들이랑 논의하다가 뒤에 var로 바꿀일이 있어서 저도 바꿔놓았는데 사실상 이번 PR에서의 의미는 없네요 😅

아아, 논의하신거라면 패쓰~

A-by-alimelon · 2020-11-26T11:24:09Z

궁금증. 여기서 말하는 '실루엣'이 무슨 의미로 쓰인거에요?

https://en.wikipedia.org/wiki/Silhouette_(clustering)
클러스터링 알고리즘을 확인하는 방법론의 이름이라고 생각했습니다
실루엣 값이라고 하는 위의 수식에 대한 값이요!

beggu84 · 2020-11-26T11:39:37Z

PR 내용도 잘 올리고, 단위 테스트도 다들 잘 하시고, 논의 사항도 남겨두고,
C 팀의 silhouette 이 1에 가까운가 봐요.

A-by-alimelon · 2020-11-26T12:12:41Z

PR 내용도 잘 올리고, 단위 테스트도 다들 잘 하시고, 논의 사항도 남겨두고,
C 팀의 silhouette 이 1에 가까운가 봐요.

1이 되려고 노력중입니다🔥🔥🔥

rnfxl92

수고 많으셨습니다.

donggeonoh · 2020-11-26T12:47:49Z

Project17-C-Map/InteractiveClusteringMap/KCoefficient.swift

+    }
+
+    func findAverageSilhouette(cluster: Cluster) -> Double {
+        var silhouettes  = [Double]()


린트에서 오류가 뜨진 않았나요?

A-by-alimelon and others added 12 commits November 25, 2020 14:31

[feat] ruleOfThumb로 k 계수 결정하는 함수 구현

d736dfa

[test]: Rule of Thumb test 함수 작성

2befd87

- 5000개 데이터 일 때 K 확인 - 8000개 데이터 일 때 K 확인

[feat]: coordinate 연산 함수 추가

77c841b

다른 점과의 거리 구하는 distanceTo 함수 + 연산 - 연산 / 연산

[feat] AverageSilhouetteCalculator 클래스 생성

b583cff

각 점에서의 클러스터 내의 응집도를 구하는 findCohesion 함수 구현 각 점에서의 실루엣 값을 구하는 findSilhouette 함수 구현

[feat] findSeparation 함수 구현

4c92afe

cluster equtable 채택 다른 클러스터와의 분리도를 구하는 findSeparation 구현

[feat] findAverageSilhouette 함수 구현

08a69e9

클러스터의 각 점에 대한 실루엣 값의 평균 계산

[feat]: cluster 구조 변경

66bc2c9

center 연산 프로퍼티로 변경

[test] findCohesion test

16f540c

[test] findSeparation 테스트

45d38f7

[test] find silhouette 테스트

5eeea79

A점 silhouette 값 테스트 B점 silhouette 값 테스트 클러스터1 평균 silhouette 값 테스

[style] 테스트 함수 주석 추가

8f87891

Merge branch 'develop' into feature/kmeans/select-k-coefficient

dab1d33

A-by-alimelon requested review from rnfxl92, donggeonoh, beggu84, Seungeon-Kim and eunjeongS2 November 26, 2020 08:25

A-by-alimelon self-assigned this Nov 26, 2020

A-by-alimelon added clustering feat test labels Nov 26, 2020

A-by-alimelon added this to To do in Sprint 2 via automation Nov 26, 2020

A-by-alimelon added this to the Sprint 2 milestone Nov 26, 2020

eunjeongS2 reviewed Nov 26, 2020

View reviewed changes

rnfxl92 reviewed Nov 26, 2020

View reviewed changes

beggu84 reviewed Nov 26, 2020

View reviewed changes

beggu84 approved these changes Nov 26, 2020

View reviewed changes

[refactor] 리뷰 반영

7497d63

eunjeongS2 approved these changes Nov 26, 2020

View reviewed changes

Sprint 2 automation moved this from To do to In progress Nov 26, 2020

rnfxl92 approved these changes Nov 26, 2020

View reviewed changes

donggeonoh approved these changes Nov 26, 2020

View reviewed changes

donggeonoh merged commit 26c96df into develop Nov 26, 2020

Sprint 2 automation moved this from In progress to Done Nov 26, 2020

A-by-alimelon deleted the feature/kmeans/select-k-coefficient branch December 3, 2020 01:55

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

K 결정 및 알고리즘 성능 판단(실루엣 이용) 함수 추가, 테스트 #33

K 결정 및 알고리즘 성능 판단(실루엣 이용) 함수 추가, 테스트 #33

A-by-alimelon commented Nov 26, 2020

eunjeongS2 left a comment

eunjeongS2 Nov 26, 2020

A-by-alimelon Nov 26, 2020

eunjeongS2 Nov 26, 2020

A-by-alimelon Nov 26, 2020

eunjeongS2 Nov 26, 2020

donggeonoh Nov 26, 2020

eunjeongS2 Nov 26, 2020

A-by-alimelon Nov 26, 2020

eunjeongS2 Nov 26, 2020

eunjeongS2 Nov 26, 2020

eunjeongS2 Nov 26, 2020

eunjeongS2 Nov 26, 2020

eunjeongS2 Nov 26, 2020

A-by-alimelon Nov 26, 2020

rnfxl92 Nov 26, 2020

A-by-alimelon Nov 26, 2020

beggu84 left a comment

beggu84 Nov 26, 2020

A-by-alimelon Nov 26, 2020

beggu84 Nov 26, 2020

A-by-alimelon commented Nov 26, 2020

beggu84 commented Nov 26, 2020

A-by-alimelon commented Nov 26, 2020

rnfxl92 left a comment

donggeonoh Nov 26, 2020

K 결정 및 알고리즘 성능 판단(실루엣 이용) 함수 추가, 테스트 #33

K 결정 및 알고리즘 성능 판단(실루엣 이용) 함수 추가, 테스트 #33

Conversation

A-by-alimelon commented Nov 26, 2020

구현내용

[feat] [test]

Silhouette Method

논의사항

화면

eunjeongS2 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

beggu84 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

A-by-alimelon commented Nov 26, 2020

beggu84 commented Nov 26, 2020

A-by-alimelon commented Nov 26, 2020

rnfxl92 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment