cohesion/boundary score 알고리즘 문서화

[lovit]

배경

LRGraph 기반 스코어링에서 핵심적으로 사용되는 cohesion score와 boundary score 수식이
코드 어디에도 언어학적 근거나 논문 참조 없이 사용되고 있다.

문제

# 현재 코드 — 수식의 의미 설명 없음
cohesion = freq(L+R) / freq(L) ** (1 / len(L))

• 수식이 어떤 언어학적 직관에서 도출되었는지 알 수 없음
• 관련 논문 참조가 코드/docstring 어디에도 없음
• 사용자가 임계값(cohesion_threshold, boundary_threshold)을 튜닝하려 해도
  수식의 의미를 모르면 적절한 값을 설정할 수 없음

개선 방향

• cohesion score, boundary score 각각의 수식을 docstring에 수식과 함께 명시
• 수식이 포착하려는 언어학적 직관 설명
  • cohesion: L이 자립적인 단위일수록 높은 점수 → 명사 후보 판별
  • boundary: R의 경계가 명확할수록 높은 점수 → 조사/어미 경계 판별
• 원 논문 참조 추가 (lovit 저자 블로그 또는 논문이 있다면 링크)
• 권장 임계값 범위 및 도메인별 튜닝 가이드 추가

대상 파일

• soynlp/noun/lr.py — cohesion score 계산 함수
• soynlp/word/word.py — boundary score 계산 함수
• soynlp/core/lrgraph.py — score 조회 메서드

[lovit]

리서치 결과 기록 (refactoring 완료 후 docstring 반영 예정)

현재 refactor-2026 브랜치 기준 (d8d4d10) 코드 위치와 알고리즘 설명을 정리해 둡니다.

---

1. Cohesion Score

코드 위치: soynlp/word/word.py#L333–L345

수식:

$$ \text{cohesion}(c_{0:n}) = \left( \prod_{i=1}^{n-1} P(c_{0:i+1} \mid c_{0:i}) \right)^{\frac{1}{n-1}} $$

곱이 Telescoping되므로 다음과 같이 단순화됩니다:

$$ \text{cohesion}(w) = \left( \frac{\text{count}(w)}{\text{count}(w[0])} \right)^{\frac{1}{\text{len}(w) - 1}} $$

현재 코드:

inv_p = 1 / (n - 1)
l_score = np.power((l_nominator / l_denominator), inv_p)

언어학적 직관 (lovit.github.io — cohesion_ltokenizer):

• 한국어 어절은 L + [R] 구조 (L: 명사·동사 등 의미 단위 / R: 조사·어미 등 문법 단위)
• L 내부에서는 다음 글자의 조건부 확률이 높고, L/R 경계를 넘으면 확률이 급감
• Cohesion score는 이 "내부 응집성(interior boundary)"을 정량화
• 분류: Interior boundary scoring (Character n-gram / conditional probability 기반)

권장 임계값: 블로그에 명시된 수치 없음. 코퍼스 크기에 따라 경험적 조정 필요.

---

2. Branching Entropy (BE)

코드 위치: soynlp/word/word.py#L370–L378, #L381–L479

수식:

$$ H(W \mid c) = -\sum_{w' \in W} P(w' \mid c) \log P(w' \mid c) $$

현재 코드:

def get_entropy(collection_of_numbers):
    prob = float(number) / total
    entropy += prob * math.log(prob)
return -1 * entropy

언어학적 직관 (Harris 1970; Jin & Tanaka-Ishii, 2006):

• 단어 경계에서는 후행 글자의 분포가 다양해 엔트로피가 높음
• 단어 내부에서는 후행 글자가 예측 가능해 엔트로피가 낮음
• 분류: Exterior boundary scoring

권장 임계값 (현재 기본값): min_brancingentropy_leftside=0.1, min_brancingentropy_rightside=0.1

참조 논문: Jin, W., & Tanaka-Ishii, K. (2006). Unsupervised segmentation of Chinese text by use of branching entropy.

---

3. Accessor Variety (AV)

코드 위치: soynlp/word/word.py#L472–L478

수식:

$$ \text{AV}(s) = \min(\text{av}_l(s),\ \text{av}_r(s)) $$

• $\text{av}_l(s)$: 부분 문자열 s 왼쪽에 등장하는 distinct 문자 수
• $\text{av}_r(s)$: 부분 문자열 s 오른쪽에 등장하는 distinct 문자 수

언어학적 직관 (Harris 1970; Feng et al., 2004):

• BE와 동일한 Harris 직관을 기반으로, 확률 분포 대신 type 개수로 경계 다양성 측정
• 분류: Exterior boundary scoring

권장 임계값 (현재 기본값): min_accessorvariety_leftside=2, min_accessorvariety_rightside=2

참조 논문: Feng, H. et al. (2004). Accessor variety criteria for Chinese word extraction.

---

4. Noun Score (v2 — LRNounExtractor)

코드 위치: soynlp/noun/lr.py#L738–L740

수식:

$$ \text{score}(l) = \frac{#\text{pos} - #\text{neg}}{#\text{pos} + #\text{neg}} $$

$$ \text{support}(l) = \begin{cases} #\text{pos} + #\text{end} + #\text{common} & \text{if score} \geq \theta \ #\text{neg} + #\text{end} + #\text{common} & \text{otherwise} \end{cases} $$

현재 코드:

denominator = pos + neg
score = 0 if denominator == 0 else (pos - neg) / denominator
support = (pos + end + common) if score >= min_noun_score else (neg + end + common)

R-feature 분류:

종류	예시	역할
Positive	를, 의, 로, 에서, 와	명사 뒤에 붙는 조사
Negative	다, 고, 습니다	동사 어간 뒤의 어미
Common	은, 는	명사의 조사이자 동사의 어미 (점수 계산 제외)
End	(어절 자체가 단어)	단독 등장 빈도

언어학적 직관 (lovit.github.io — noun_extraction_ver2):

• L 뒤에 어떤 R-part가 얼마나 등장했는지로 해당 L이 명사인지 판별
• 명사형 조사(pos)가 많이 붙을수록 명사일 가능성 높음
• (-은/-는) 같은 중의적 형태소는 분모에서 제외

권장 임계값: min_noun_score=0.3 (기본값). 블로그 실험 기준: L≥30, R≥15에서 정밀도 99.4~99.7%

참조: Zhao, H., & Kit, C. (2007). Incorporating global information into supervised learning for Chinese word segmentation. PACLIC 21.

---

참조 목록

지표	분류	참조
Cohesion Score	Interior	lovit 블로그 (2018-04-09)
Branching Entropy	Exterior	Jin & Tanaka-Ishii (2006)
Accessor Variety	Exterior	Feng et al. (2004); Harris (1970)
Noun Score	LR-structure	Zhao & Kit (2007); lovit 블로그 (2018-05-08)

⚠️ 현재 refactor-2026 브랜치 리팩터링 진행 중. docstring 반영은 리팩터링 완료 후 feature/228에서 작업 예정.