【实验性需求】英文词组的分词快速输入设想方案

太阳雨

背景

最近在修订英文词库，发现有很多词组有如下特点：

方案1(姑且叫“首字母编码”): 各单词首字母拼接，缺点，用户需要记得每个单词，并提取首字母，重码率高，打了第1个单词的首字母，但是不记得第2个单词是什么，想浏览候选列表，几乎是不现实的，所以这种编码方案放弃了！
方案2(姑且叫“首全从简编码”): 第1个单词使用全编码，后面的单词使用首字母拼接，优点：可能通过打全第1个单词，缩小候选列表的范围，并且打第2个单词的首字母后，将极大缩小候选范围，对类型1、类型3将是非常有效的编码方式，但是有如下缺点：
- 对于类型2的词组，要打完第1个完整的单词，将是非常痛苦的事，明明智能提示已经把单词放到候选1了，却不能空格上屏，需要完全手工打完，再打第2个单词的触发字母。

注：使用“首全从简编码”，解决了一大部分的词组用户输入方便性的问题，但效率仍然捉襟见肘。

单词不需要打全，只需要打单词1的一部分前缀，再接分词符号“‘”，接着输入单词2的部分前缀....单词3前缀...，这样可以极大的减少输入负担。如：envi'deg，即可精确命中environmental degradation
兼容“首字母编码”，使用首字母加分词符，即可退化到单词“首字母编码”，如：a'l'o 精确命中a lot of

太阳雨

英文分词编码算法看看能不能申请专利:)

admin

这个算法看起来难度不大，但问题是如果直接使用遍历的方式，性能比较差。

当前拼音之类的词库是做了索引的，所以才能在海量词库数据里快速的找到需要的词。

而英文的话，索引的方式肯定不太一样。后面有空会研究一下。

太阳雨

注：仅做为思路参考。

当发现加载的词条包含空格时，认定为词组，做特殊处理。
新设计一张tbl_phrases表，字段为：word,p1,p2,...p10，共11个字段，word是词组原文，p1为word以空格分割后的第1个单词，p2为第2个...依次类推，词组只需要最多拆分到10个单词就够了，有些太长的有点扯。
tbl_phrases表的各字段都要建立索引，注：很多词条可能后面的p3 - p10都是空的。
将拆分后的词组存入tbl_phrases表中，如果词组只有2个单词，则p3到p10字段填充空值。
词组数量并不会太多，经筛选，40W的词库里面，大概有2W条词组。
表结构示意：

SELECT word
FROM tbl_phrases
WHERE p1 LIKE 'two%' 
  AND p2 LIKE 'he%' 
  AND p3 LIKE 'a%' 
  AND p4 LIKE 'be%';

注：这个查询操作即可命中词组，本机耗时约0.002秒。

SELECT word
FROM tbl_phrases
WHERE p1 LIKE 't%';

注：这个查询操作本机耗时也只约0.002秒。