【原创】词频定理：足够多的语料增加一倍时，低频词的增加数量为

zzjjll

词频定理:足够多的语料增加一倍时,低频词的增加数量为定值.
昨天忙了一天,搞出这么一个定理,希望大家证明或证伪.
用于汉字(我把汉字当词看)则是:十万字以上的语料增加一倍时,低频字的增加数量小于500.
应用:已知180万字的语料中有汉字4574个,则
         360万字的语料中汉字不多于5074个.
         720万字的语料中汉字不多于5574个.
        1440万字的语料中汉字不多于6074个.
        2880万字的语料中汉字不多于6574个.等等.
语料中当然不能有字典或GBK字库之类的资料.
定值的意思是一定范围内的值.

我希望能证明采用6万字的大字库是不明智的.

foxsql

你这个是基于汉字使用频率的
不过也算是另一个方面的统计，从而证实了汉字的闭合性：学习汉字的数量可以是有限的，不必无限的学习。英语则不然，必须无限的学习。从人的各种要素的制约来看，只有汉字才能达到学少知多。

楼主最后得出的结论也是正确的：虽然我们需要存储那么多字，但是实际应用是不需要的。所以我提倡使用完全码存储汉字，将常用汉字使用精简码。将精简码与完全码用字典对应起来，从而能够分析出精简码对应的完全码。从完全码可以得出汉字的字意、字形、读音等一些信息。如此便可既减小空间的占用，提高用字率，又可包容生僻字，还可造新字，保障汉字的生命力。

完全码：利用汉字的字根（与输入法部件的概念不同，数量要多）编码组成汉字。优点是像英文一样可组合出无限汉字。缺点是存储空间变大，相对英文无任何优势可言，且对现今已信息化部分不能做到连续。
精简码：现今汉字采取双字节编码，可做为汉字的精简码，并与完全码对应起来。优点是占用空间节约，传输速度快。缺点是限定汉字数量，对汉字的字意、字形、字音支持不够，使得汉字失去生命力。

班门斧

用字的增加是语料增加的对数关系。

foxsql

谢谢
原来早有统计

zzjjll

班大师有公式吗？俺是估计出来的．

foxsql

我想起汉字使用频率
可参见张老师的网站

汉字笔划个数与汉字个数的函数关系同英文单词长度与英文单词个数的函数关系及其类似。