找回密码
 欢迎注册
楼主: KeyTo9_Fans

[原创] 数字与全角字符的匹配问题

[复制链接]
 楼主| 发表于 2013-5-15 00:16:27 | 显示全部楼层
上贴提到: 如果只看【字频表.txt】, 把 频数最大的数字 与 频数最大的字 匹配 频数第2大的数字 与 频数第2大的字 匹配 频数第3大的数字 与 频数第3大的字 匹配 …… 频数第n大的数字 与 频数第n大的字 匹配 那么匹配结果如下: —————————— 对过生上她。 示李一她达“呢汗激激一对张却喃么喃道讲在生你。 …… —————————— 我们之所以说【匹配结果很糟糕】,是因为【读起来不通顺】。 也就是说,匹配结果不符合人们在长期的日常生活中逐渐形成的【用语习惯】。 为了测量【匹配结果】与【用语习惯】的符合程度, 我们利用$18$楼的【词频表】,列出下面的公式: 【匹配结果】与【用语习惯】的符合程度 = $\Pi_{i=1}^n(c(w(i))+1)$, 其中$w(i)$表示【匹配结果】中的第$i$个二元组, (二元组就是位置相邻的两个字。例如:【匹配结果】的前$5$个二元组是【对过】、【过生】、【生上】、【上她】、【她。】) $c(w(i))$表示【词频表】里面该二元组的频数。 这个公式意味着: 【匹配结果】里的二元组在【词频表】中的频数越大,【匹配结果】就越符合【用语习惯】。 好了,现在我们在匹配方案为$(1,2,3,...,n)$的基础上, 注:匹配方案为$(1,2,3,...,n)$表示: —————————————————— 频数第1大的数字 与 频数第1大的字 匹配 频数第2大的数字 与 频数第2大的字 匹配 频数第3大的数字 与 频数第3大的字 匹配 …… 频数第n大的数字 与 频数第n大的字 匹配 —————————————————— 重复执行以下步骤: 1、随意交换两个匹配(例如:将匹配方案从$(1,2,3,...)$变成$(2,1,3,...)$) 2、计算【匹配结果】与【用语习惯】的符合程度 3、如果符合程度增大了,那么采用新的匹配方案,否则撤消第$1$步的【交换匹配】操作 直到“无论交换哪两个匹配,都不能使【匹配结果】与【用语习惯】的符合程度增大”为止。 就得到了下面的匹配结果:程序正在运行,请静候佳音…… ##### 我把程序中断了,因为公式需要修改。 修改后的公式如下: 【匹配结果】与【用语习惯】的符合程度 = $p_0*\Pi_{i=1}^n(p(w(i))+10^{-4})$, 其中$p_0$表示【匹配结果】中的第$1$个字出现的概率, $w(i)$表示【匹配结果】中的第$i$个二元组, $p(w(i))$表示当第$1$个字定下来之后,该二元组出现的概率。 例如,p(“交换”)=p(“换”|“交”),也就是当第$1$个字是“交”的时候,第$2$个字是“换”的概率。 $10^-4$是用来避免乘积为$0$的平滑参数。 这个公式意味着: 【匹配结果】里的二元组出现的概率越大,【匹配结果】就越符合【用语习惯】。
毋因群疑而阻独见  毋任己意而废人言
毋私小惠而伤大体  毋借公论以快私情
发表于 2013-5-15 01:52:49 | 显示全部楼层
是不是将【符合程度】取对数相加,不然频数太小精度会下溢出啊

评分

参与人数 1金币 +3 收起 理由
KeyTo9_Fans + 3 是的~

查看全部评分

毋因群疑而阻独见  毋任己意而废人言
毋私小惠而伤大体  毋借公论以快私情
 楼主| 发表于 2013-5-24 23:43:19 | 显示全部楼层
躺等若干日,终于得到了一个局部最优解: —————————— 过去要了一。 乘坐,一酒在都替永永,过因正躺你躺、顶有要到。 采奕跟沏颚,因身在以装蹲勺,苏蒙精灵。 真的是……” 我抓回憨憨筝得灵还去,又补在却同之合伏次有变郭。 波澜教坐一可退步,够做里明在应得下苦苦顶顶、而就有的张起到。 我妈就的明坐躁,身在却同戾够做尖门绿划,法分说会在法子它们来请想有。 今却没来坐过在却跟马乙留教足产,幕圆二净着她神又细。 真的是…上重。” 我冷静空已看了在进踪之合冷眼挂对灵工去落募呷了过因。 坐躁,镇读得的脖子拆共有熟悉在给同飞去教按湿可淋穹。 衡葱,乡湿。 以装铁腕要人她首,一。 我她忽听后在退步了过因,坐想骂丘上前挥洒轧衣有。 我之合具了身进募呷过因。 却跟熟悉留教三人勉强勃勃、诚信。 走边是……” 这两点破了我,走边在泥鳅生加我诚信过去要了一,幕。 走边是又去聊一行。” 他空已看了进妈就坐躁,读。 真的是校长你在我和它们刚有找:法好…” 从聊一下来象却,。 走边是…吗?” 连对我两岸然在走边黑夜来发她本称赞落等等池了用。 走边是应得…半想有?” 真的是请想。” 走边是哈…隐我的恨。” 今却他哪天两点看在她时说到留羔羊被地委屈,手还。 那重卧る认,走边还干身在以装前来玩多玩掉落,显任。 走边是我没后看清醒来找想歌。” 绝望的冲在这样来找想下入对的人:法有。 走边是我本她本以活的人活动?” 真的是…谁。” 走边是她从音呢?” 真的是音藏有。” 的位置问着发枝相,一在应得自从比起便对抑婚。 走边是那两人…让年。” 看了他总就的银守己。 走边是两来入对,铎推开。” 走边是下来…” 走边是编诵我才,产业。” 真的是兴有阿婆,产业在蚁却自揪的银守己?” 我非时他总让我,银还在却同之合曾用募呷走边,演。 生因事吃了两银充守己样来时.有张。 她时为便问半断崖珺,事帮到看在两手,黎丘留发血色。 走边是阿婆…来开在和它们两点现有吧。” 真的是谁在来你。” 维喃喃,银还得事正锵显… 场以长我少它互留有:法珞可说时,一毛在先冷转不代留阳向家,毛躁形雏产染。 走边是没交着我,第四呢?” 真的是两点看到我下后活在出没交着我,第四呢?” 走边是谁。” 得坐一给正… 得教坐一可想岔,绕能正… 这前来生的明身狮城阿婆,祝悲… 走边是真的。” 真的是酒还。” 走边是她为好呀” 真的是合症。” 走边是我来…走越歌…” 他介绍、铲回有↓用。 林静可看,受的截然在和冷眼退步了、方,坐一在挥洒狮免了交代正,因坐给态。 得走边又同可要,一之丘轧衣有骂丘。 真的是清醒下被窟窿得两天换要会有。” 走边是我,第四…” 真的是送她往何而有啊。” 走边是第四…” 得攀登阿婆,绕能给正… 教攀登阿婆,一可纸族… 真的是第一在我才而啊。” 科,越略蟋寻喜拂过,湿可挽视在勃勃、作家鞠理。 第一是你…” 第一是谁!” —————————— 全文如下: try.rar (137.54 KB, 下载次数: 0) 该匹配方案已经不能通过【交换匹配】来增大【匹配结果】与【用语习惯】的符合程度了。 匹配结果虽然初看起来更通顺了, 但仔细一读,仍然不知所云。 我们接下来还有什么改进方案呢?
毋因群疑而阻独见  毋任己意而废人言
毋私小惠而伤大体  毋借公论以快私情
您需要登录后才可以回帖 登录 | 欢迎注册

本版积分规则

小黑屋|手机版|数学研发网 ( 苏ICP备07505100号 )

GMT+8, 2024-11-23 20:49 , Processed in 0.025228 second(s), 19 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表