【分享】现有沪语（吴语）输入法的缺陷以及可能的解决方案

bigws

【现有沪语（吴语）输入法的缺陷以及可能的解决方案】：

【一】综述
目前，市面上可以取得的沪语输入法，有两套
(1)钱乃容老师开发的上海话输入法：
http://www.longdang.com/shanghaihua.aspx
(2)吴语越音 开发的第二式输入法
http://www.wuunion.com/bbs/viewthread.php?tid=19&extra=page%3D1

目前两套输入法的使用情况，据我的调查发现，使用率十分低。。别说推广，连绝大多数上海人都根本无法保持长时间使用。。

在我看来，问题主要如下：
【1】拼音方案难以很快接受，尤其是‘浊音’和‘入声’，以及元音的输入等问题，从而造成很多人根本不知道如何上手
【2】就算勉强过了第一关，大量词汇输入法中根本就没有，即使我知道了沪语读音且严格按照输入法进行了输入
【3】由于目前新一代上海人普遍发音不准，造成了大量词汇只知国语发音，而根本不知道沪语发音的情况，这样造成了使用的不便
【4】词库以及智能的问题，新一代输入法（以搜狗为例）最大的特色，就是同步更新词库和高超的智能选择，造成很多新鲜词汇以及很长的句子都可以瞬间并且准确的输入

我目前针对以上问题，提出了可能的解决方案：
====================================

【二】解决方案：

【1】针对第一点，本人从一个实际的使用者的角度来看，认为应该采取第一式和第二式的一种综合；而以第一式为主；从使用的角度来说，本人强调，很多声母可以合并（但是，在具体给出字的时候，标上严格的发音，这点我后面会讨论），例如：

bin   兵
bhin 病
pin   拼

我本人认为，因为受到英语和普通话太多的发音影响（从小的教育），b,p 的发音还是第一式做的好，但是在具体输入的时候，b , bh 可以统一成 b (当然，输 bh 更准），其实在我看来，b和bh 更像声调的不同，前者第一声，后者第三声；

又如：

西 xi
子 zy

在普通话中，西子(xizi)两者的韵母是一个，其实我们都知道，两者发音明显不一致；第一式中将两者区分开是很好的，但是在使用起来会相当的不方便。。所以我的意思是，普通话都可以合并（且并不影响发音的区分），我们上海话输入法也可以合并~~

第三点就是入声了，第一式第二式（包括其他的拼音方案），不是用K就是用H，这当然不错，尤其对于吴语来说，入声是非常宝贵的遗产；但对于实际的使用来说，就相当的麻烦了。。所以，我还是倾向于合并，（即，最后加不加K和H都无所谓，都可以给出所要的汉字）

【总结】综上所述，其实我的观点，就类似与搜狗拼音当中的‘模糊音’，即 zh,ch,shi, 与 z,c,s混合，因为对于不少国人来说（例如，西南官话的使用者），的确相当难区分这些发音，所以我们上海话输入法，同样也可以将清浊混合（当然，这应该作为选项，对于老鸟来说，区分后打的更快更准）；另外，就是混合入声，这也做同样的解释
===================================

【2】针对第二点，本人认为，从根本上来说就是词库的问题，这在我看来根本就不是问题，前提是需要了解以下概念：

(1)输入法的核心概念，词库格式：
这其实很简单，看了以下例子就瞬间明白了，

'a 啊
'a 阿
'a'a 啊啊
'a'bian 阿扁
'a'di'da'si 阿迪达斯
'a'duo 阿朵
'a'fu'han 阿富汗
'a'ge 阿哥
'a'gen'ting 阿根廷
'a'ha 啊哈
'a'jie 阿姐
'a'la 阿拉
'a'la'bo 阿拉伯
'a'lan'ruo 阿兰若
'a'li 阿里
'a'li'ba'ba 阿里巴巴
。。。。

这就是搜狗拼音的标准词库，即拼音与汉字的一种对应关系，所以说，如果我们需要一个大一点的字库，只要采用以下措施就可以了：

(2)词库的自动生成方案：
首先，假定我们已经确立了上海话（日后可以是吴语）的一种标准化发音规范，我们首要的处理，其实并不是沪语（吴语）的各种特有词汇以及方言俚语（目前各大吴语论坛最大的问题，就在于疯狂的搜集各种土语），我认为，首要处理的是，目前国语词汇的沪语（吴语）读法~~~~这一点是非常重要的，只有这个抓住了，即任何国语，都基本上可以用沪语（吴语）标准无误的读出来，这样才能慢慢的增强我们吴语使用者的自信，进而使用我们特有的表达方式和语法，甚至是特有的词汇！！！

所以，作为一个可以让沪语（吴语）使用人群普遍接受（而不仅仅是学术研究）的输入法，首先必须建立目前最常见，使用频率很高的国语词汇库，不过音是用沪语（吴语）标注的~~~

现在我来说一下自动方案，其实在了解了以上基本构词法后，是非常容易的：
[1]得到国语词汇库（这个途径太多了。。我相信任何从事语言学研究的学者，都肯定具备大量的语料库)
[2]按照沪语基本的发音，将上述国语词汇库进行注音（这其中，必然会碰到文白异读，特殊读法，不同地区不同读法的问题），将发生问题的词汇，自动剔除做特殊处理
    [2-1]具体方法，因为常用汉字的数目是有限的（初步算5000）
    [2-2]先对上述5000汉字，用沪语（吴语）进行标注，出现多重读音的，抽提出来
    [2-3]对[1]中得到的语料库，进行自动化注音，将绝对无任何多重读音的词汇，标记为正确，出问题
           的，事后可以额外处理
    [2-4]上一步骤中，成功处理的，就是无歧义沪语词库；出现歧义的，其实正好是各种特殊用法，文白
            异读，各种读音的语料，可以进一步分析处理（如果简单的话，就直接标记成两种读音）
[3]上述工作完成后，就可以导入输入法，以后再用沪语（吴语）输入单词时，绝大多数情况，是可以找到读音无误的词的
====================================================

【3】第三点的解决，其实是在第【2】步完成的条件下的；而且也异常的简单明了：
首先举一个最简单的例子，比方说用搜狗输入法，当你输入 mo ban （模板） 的时候，搜狗会自动纠正，应该读 mu ban （写在要输的词‘模板’ 旁边）；
我们可以利用这一个特点，来解决【3】的问题，即：

当我们不知道某个特定词汇的沪语（吴语）发音的时候，我们直接输入国语拼音，找到这个词汇的时候，旁边标记着该词汇的沪语（吴语）发音；

做到这点其实也相当简单，理由是：输入法的本质就是一种映射关系，当你得到一个具体的汉字（词）的时候，就可以顺便提取该词的信息的。。我们这里的信息很简单，就是其沪语（吴语）读音而已。。

当然，从实际使用的角度来说，当你输入的就是沪语（吴语）正确的读音时，纠正的发音可以不显示。。只有你输错了（主要针对输国语）的时候，才显示其真正的沪语（吴语）读音。。

要实现这一点也很简单：
[1]首先，我们在所有的国语拼音库的汉字后面，标注上其沪语（吴语）读音；然后在显示的时候，将后面的读音信息显示出来
[2]由于同一个词，我们还用沪语标音，为了实现‘纠错’这一点，我们在沪语库的汉字后面，不标注任何信息就可以了，这样打出来就是‘正确’的。。
[3]对于那些沪语（吴语）特殊用法，文白异读等现象，也采取上述形式进行纠错

======================================================

【4】第四点，其实是最关键和头疼的，因为这牵涉到了大量的技术细节，甚至是不少机器学习的核心算法，这不是一般人可以完成的。。。尤其是智能化问题，细胞词库以及词库智能更新问题都还不是太大。。但是搜狗的核心亮点是首词准确率超高，以及长句子的自动识别等等。。。这些背后的细节不是一句两句话说的清楚的。。。所以，我的观点是，最好采取合作的方式，我们，联合其他的吴语论坛，吴语爱好者，大学教授，吴语区土生土长的资本家，等等等等，以某种方式和搜狗方面进行合作，在下一个版本中，包含我上面提出的【1】-【3】的功能（其实上面三个功能是相当容易实现的）；一旦做到这一点，我认为真正沪语（吴语）的输入法，想不普及都难~~~~

=======================================================

【三】结论：
综上所述，目前沪语（吴语）输入法最大的几个问题是，
【1】拼音方案难以很快接受，尤其是‘浊音’和‘入声’，以及元音的输入等问题，从而造成很多人根本不知道如何上手
（解决方案：采取清浊合并，入声合并等等‘模糊音’处理方式，可以大大降低门槛）

【2】就算勉强过了第一关，大量词汇输入法中根本就没有，即使我知道了沪语读音且严格按照输入法进行了输入
(解决方案：以现有的国语词汇库，按照一定方式标注其沪语（吴语）读音，碰到文白异读等特殊情况时，特殊处理)

【3】由于目前新一代上海人普遍发音不准，造成了大量词汇只知国语发音，而根本不知道沪语发音的情况，这样造成了使用的不便
（解决方案：输入法保留国语输入，但在其词汇后面，显示沪语（吴语）读音，就好比‘纠错’）

【4】词库以及智能的问题，新一代输入法（以搜狗为例）最大的特色，就是同步更新词库和高超的智能选择，造成很多新鲜词汇以及很长的句子都可以瞬间并且准确的输入
（解决方案：与目前最好的中文输入法‘搜狗拼音’进行一定程度的合作）

在解决了上述4点，尤其是第【4】点后，沪语（吴语）输入法的普及，想不成功都难，但这必须大家共同的努力才可以，万不可内斗，也不可轻易诋毁别人的辛苦成果；就算其他说普通话的人百般诋毁也没关系，我们吴语人必须团结~~~~~

==========================================================

【四】展望：
我是以‘沪语’的观点，来写这篇文章的，但其实，上述所有方法，都适用于吴语中任何一种方言，因此，我非常希望，在此计划初步实现后，我们吴语区的所有语言的使用者，都有了自己特有的输入法以后，可以心平气和的一起讨论一种吴语共同语，因为我知道，现在用计算机来研究语言学的人很多，在我这个输入法计划实现后，尤其是第【2】个困难的解决，势必会遇到很多国语词汇，在吴语区中，存在‘不同区不同读法’的情况，当然，更包括不同吴语区的各种土语俚语；在实现拼音化后，完全可以用计算机来比较，甚至建立一整套概率模型计算其演化的方式（类似于生物信息学中的系统发生树的构造），因为我们可以根据这种由计算机得到的客观的结果，来分析哪些词汇应该被选为共同语

最后的最后，我以一个上海人，更是一个吴人的身份，衷心的祝愿，我的这个小小的想法，可以得到实现~~~~~

［ 本帖最后由 bigws 于 2008-10-26 04:26:00 编辑 ］

benojan

我以一个吴人的身份，衷心地希望楼主首先学好吴语。没学过普通话拼音的人，普通话拼音输入法也是不会用的。

bigws

现在的问题是，如果开发出‘学术化’的输入法，仅仅在内部绝对精通吴语的人中使用，而无法得到推广，这种输入法有什么用处？？你浏览各大上海人为主的论坛啊？比方说KDS,SHANGHAINING,LONGTANG,等等，里面的上海话第一式输入法被骂成什么样子？？
现实情况就是，吴人有没有机会学习吴语？？像在课堂里学习语文，一学就学10几年的情况？？
所以我才想出以上的折中方案，这是考虑我们开发出的输入法，尽可能可以得到普及。你也应该了解搜狗的模糊音，你也应该明白 zh,ch,sh 和 z,c,s, 对于官话区的某些人来说都区分不清，所以你又为何必须强求，吴语区的人必须100%区分清楚呢？？何况是在现在这种吴人都无法‘正常’学习吴语的情况下？？
再说了，我以上方案第【3】点的‘纠错’功能，不是已经提到了，会把正确的读音给标记出来吗？还考虑到了新上海人只懂国语发音，而不知道吴语发音的情况，你们这些‘学术派’制作输入法的人，考虑过这些情况没有？？
一个输入法的制作，不是为了‘学术上使用’，那样的输入法跟垃圾没任何区别，呵呵。。我的言辞可能过了。。因为输入法的本质就是为了推广某种语言，你让讲这种话的人，都用起来极其不爽，这难道不是很成问题的吗？

吴语越音

其实也是可以用汉语拼音式的吴语拼音的，只要利于推广。毕竟吴语的拼音最终要用到大众身上而不是说只有顺从专家学术上的音标模式才好。这一点普通话拼音就是如此，学术音标和拼音方案是不同的。

吴语越音

不过楼主，入声怎么合并？而且吴语拼音现在只可能由吴语人群来用，所以不必要考虑外地人的使用的问题。

吴语越音

原帖由 bigws 于 2008-10-26 04:22 发表 ↩️
我认为，首要处理的是，目前国语词汇的沪语（吴语）读法~~~~这一点是非常重要的，只有这个抓住了，即任何国语，都基本上可以用沪语（吴语）标准无误的读出来，这样才能慢慢的增强我们吴语使用者的自信，进而使用我们特有的表达方式和语法，甚至是特有的词汇！！！

楼主的这种观点，我在第二式输入法里面也实践过了。这一点上楼主的想法是和我一样的，当然这个其实都是大家的共识了。

tiyz

声调的问题可以使用一些没有使用的拉丁字母代替.
只要四个调就可以了.
阴调和阳调可以通过声母推出

bigws

对了，你已经把尽可能的国语词汇都转成沪语（吴语）发音了吗？有的话请把这个文件发给我，我万分感谢~~~

bigws

原帖由 吴语越音 于 2008-10-26 23:16 发表 ↩️
不过楼主，入声怎么合并？而且吴语拼音现在只可能由吴语人群来用，所以不必要考虑外地人的使用的问题。

我的解决方案就是不加k（或者h)，比方说：
一生 (yik sang) -> （yi sang)
把K去掉就行了。。

当然，这样的话一个字是否是入声就不知道了。。但为了方便大家实际使用，暂时也只有这样将就了。。（我看到各大论坛上讨论钱氏输入法的缺陷，主要就表现在，浊音和入声上，因为和自己多年来养成的拼音输入习惯不一致。。）

不过，可喜的是，按照我的方案做约化后，可以把字库完美的导入进搜狗~~（以字库的方式，而不是特殊字符），这样的话，就可以带上搜狗高智能的输入风格，完美流畅的打出沪语（吴语）~~~各位不信的话，我今晚先整个小词库出来，各位试试，究竟爽还是不爽~~~

吴语越音

其实不管是入声还是不是入声，旁人是不管的。平常人没有入声的概念，只不过能够认识到ih和i的不同而已。如果你要把入声去掉，那么人家何以判断这个归并到哪里，那个又归并到哪里呢？你要ik并入i，ak并入a，那么平常人也是需要先学习ik这个音的发音然后再学习ik应该并入i，那么反而比别人有入声的输入法学起来更麻烦。还有即使如你所设计的那样，不知道你试过没有有些上海话特定的词语比如“搿个”能否到做词汇打出？