数字与全角字符的匹配问题

KeyTo9_Fans

上贴提到：

如果只看【字频表.txt】，

把 频数最大的数字 与 频数最大的字 匹配
频数第2大的数字 与 频数第2大的字 匹配
频数第3大的数字 与 频数第3大的字 匹配
……
频数第n大的数字 与 频数第n大的字 匹配

那么匹配结果如下：

——————————
对过生上她。
示李一她达“呢汗激激一对张却喃么喃道讲在生你。
……
——————————

我们之所以说【匹配结果很糟糕】，是因为【读起来不通顺】。

也就是说，匹配结果不符合人们在长期的日常生活中逐渐形成的【用语习惯】。

为了测量【匹配结果】与【用语习惯】的符合程度，

我们利用$18$楼的【词频表】，列出下面的公式：

【匹配结果】与【用语习惯】的符合程度 = $\Pi_{i=1}^n(c(w(i))+1)$，

其中$w(i)$表示【匹配结果】中的第$i$个二元组，

（二元组就是位置相邻的两个字。例如：【匹配结果】的前$5$个二元组是【对过】、【过生】、【生上】、【上她】、【她。】）

$c(w(i))$表示【词频表】里面该二元组的频数。

这个公式意味着：

【匹配结果】里的二元组在【词频表】中的频数越大，【匹配结果】就越符合【用语习惯】。

好了，现在我们在匹配方案为$(1,2,3,...,n)$的基础上，

注：匹配方案为$(1,2,3,...,n)$表示：
——————————————————
频数第1大的数字 与 频数第1大的字 匹配
频数第2大的数字 与 频数第2大的字 匹配
频数第3大的数字 与 频数第3大的字 匹配
……
频数第n大的数字 与 频数第n大的字 匹配
——————————————————

重复执行以下步骤：

1、随意交换两个匹配（例如：将匹配方案从$(1,2,3,...)$变成$(2,1,3,...)$）
2、计算【匹配结果】与【用语习惯】的符合程度
3、如果符合程度增大了，那么采用新的匹配方案，否则撤消第$1$步的【交换匹配】操作

直到“无论交换哪两个匹配，都不能使【匹配结果】与【用语习惯】的符合程度增大”为止。

就得到了下面的匹配结果：程序正在运行，请静候佳音……

#####

我把程序中断了，因为公式需要修改。

修改后的公式如下：

【匹配结果】与【用语习惯】的符合程度 = $p_0*\Pi_{i=1}^n(p(w(i))+10^{-4})$，

其中$p_0$表示【匹配结果】中的第$1$个字出现的概率，

$w(i)$表示【匹配结果】中的第$i$个二元组，

$p(w(i))$表示当第$1$个字定下来之后，该二元组出现的概率。

例如，p(“交换”)=p(“换”|“交”)，也就是当第$1$个字是“交”的时候，第$2$个字是“换”的概率。

$10^-4$是用来避免乘积为$0$的平滑参数。

这个公式意味着：

【匹配结果】里的二元组出现的概率越大，【匹配结果】就越符合【用语习惯】。

dianyancao

是不是将【符合程度】取对数相加，不然频数太小精度会下溢出啊

KeyTo9_Fans

躺等若干日，终于得到了一个局部最优解：

——————————
过去要了一。
乘坐，一酒在都替永永，过因正躺你躺、顶有要到。
采奕跟沏颚，因身在以装蹲勺，苏蒙精灵。
真的是……”
我抓回憨憨筝得灵还去，又补在却同之合伏次有变郭。
波澜教坐一可退步，够做里明在应得下苦苦顶顶、而就有的张起到。
我妈就的明坐躁，身在却同戾够做尖门绿划，法分说会在法子它们来请想有。
今却没来坐过在却跟马乙留教足产，幕圆二净着她神又细。
真的是…上重。”
我冷静空已看了在进踪之合冷眼挂对灵工去落募呷了过因。
坐躁，镇读得的脖子拆共有熟悉在给同飞去教按湿可淋穹。
衡葱，乡湿。
以装铁腕要人她首，一。
我她忽听后在退步了过因，坐想骂丘上前挥洒轧衣有。
我之合具了身进募呷过因。
却跟熟悉留教三人勉强勃勃、诚信。
走边是……”
这两点破了我，走边在泥鳅生加我诚信过去要了一，幕。
走边是又去聊一行。”
他空已看了进妈就坐躁，读。
真的是校长你在我和它们刚有找：法好…”
从聊一下来象却，。
走边是…吗？”
连对我两岸然在走边黑夜来发她本称赞落等等池了用。
走边是应得…半想有？”
真的是请想。”
走边是哈…隐我的恨。”
今却他哪天两点看在她时说到留羔羊被地委屈，手还。
那重卧る认，走边还干身在以装前来玩多玩掉落，显任。
走边是我没后看清醒来找想歌。”
绝望的冲在这样来找想下入对的人：法有。
走边是我本她本以活的人活动？”
真的是…谁。”
走边是她从音呢？”
真的是音藏有。”
的位置问着发枝相，一在应得自从比起便对抑婚。
走边是那两人…让年。”
看了他总就的银守己。
走边是两来入对，铎推开。”
走边是下来…”
走边是编诵我才，产业。”
真的是兴有阿婆，产业在蚁却自揪的银守己？”
我非时他总让我，银还在却同之合曾用募呷走边，演。
生因事吃了两银充守己样来时．有张。
她时为便问半断崖珺，事帮到看在两手，黎丘留发血色。
走边是阿婆…来开在和它们两点现有吧。”
真的是谁在来你。”
维喃喃，银还得事正锵显…
场以长我少它互留有：法珞可说时，一毛在先冷转不代留阳向家，毛躁形雏产染。
走边是没交着我，第四呢？”
真的是两点看到我下后活在出没交着我，第四呢？”
走边是谁。”
得坐一给正…
得教坐一可想岔，绕能正…
这前来生的明身狮城阿婆，祝悲…
走边是真的。”
真的是酒还。”
走边是她为好呀”
真的是合症。”
走边是我来…走越歌…”
他介绍、铲回有↓用。
林静可看，受的截然在和冷眼退步了、方，坐一在挥洒狮免了交代正，因坐给态。
得走边又同可要，一之丘轧衣有骂丘。
真的是清醒下被窟窿得两天换要会有。”
走边是我，第四…”
真的是送她往何而有啊。”
走边是第四…”
得攀登阿婆，绕能给正…
教攀登阿婆，一可纸族…
真的是第一在我才而啊。”
科，越略蟋寻喜拂过，湿可挽视在勃勃、作家鞠理。
第一是你…”
第一是谁！”
——————————

全文如下：

try.rar (137.54 KB, 下载次数: 0)

2013-5-24 23:44 上传

点击文件名下载附件

该匹配方案已经不能通过【交换匹配】来增大【匹配结果】与【用语习惯】的符合程度了。

匹配结果虽然初看起来更通顺了，

但仔细一读，仍然不知所云。

我们接下来还有什么改进方案呢？