Solr文本分析包括以下组件：
分析器（Analyzer）、字符过滤器(CharFilter)、分词器(Tokenizer)、分词过滤器（TokenFilter）.
分析器将分词器和分词过滤器链组合成一个组件。
-
<fieldType name=”nametext” class=”solr.TextField”>
-
<analyzer type=”index”>
-
<tokenizer class=”solr.StandardTokenizerFactory”/>
-
<filter class=”solr.StandardFilterFactory”/>
-
<filter class=”solr.LowerCaseFilterFactory”/>
-
<filter class=”solr.StopFilterFactory”/>
-
<filter class=”solr.EnglishPorterFilterFactory”/>
-
</analyzer>
-
</fieldType>
- 标准分词器 · StandardTokenizer
- 移除停用词 · StopFilterFactory
- 小写转换 · LowerCaseFilterFactory
- 折叠重复字母 · PatternReplaceCharFilterFactory
- 对空格分词 WhitespaceTokenizerFactory WordDelimiterFilterFactory(保留主题标签、提及符号、连字符)
- 移除变音符号 ASCIIFoldingFilterFactory
- 提取词干 KStemFilterFactory PorterStemFilterFactory
- 同义词 SynonymFilterFactory
转载请注明：XAMPP中文组官网 » solr文本分析