Part-of-Speech

• 품사 구분
• why pos in nlp?: 더 나은 NLP 알고리즘 설계, 다국어 지원, AI가 문법적 관계를 이해해야함
  • 문장 구조 이해와 형태소 분석(한국어)

Formal Language

• 목표: 자연어는 복잡하고 모호하므로, 수학적으로 분석할 수 있는 모델 시스템 필요
  • 언어를 formal로 표현하여 문장 구조가 올바른지 판별
• Language
  • 기호들의 조합으로 이루어진 문자열 집합
• Grammar
  • 어떤 문자열이 올바른 문장인지 정의
• Automata
  • 문법을 인식하거나 생성하는 모델

Regular Language

• 정규표현식으로 정의될 수 있는 언어 - 생성

  • 특정 규칙을 가진 문자열 집합을 정규식 패턴으로 간단히 기술 가능한 언어

• Regular Expression (정규표현식)

  • Concatenation, Alternation, Kleen Star

• 한계: 중첩 구조 표현 불가/ 문맥 의존 이해 불가

  ⇒ Context Free Grammar

Finite State Automata