Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы компьютерной лингвистики. Учебное пособие
.pdf
2.3. Аналитические методы морфологического анализа
,/#!*%C#!*%C/.!8>O/!+"C#!'."#L/L
*L.!/"*/+!#!" !!',/!'!8;+ !/!+!#C/##'!"#8$
/!+! !"#=C*!.!/!+"!#8C*L!-"-!/!+! !"#C!//:
+>O&+/!+")
O/+"L* "*$!%&"M(C!!"%#>.",/"8$ +/!:
+"#%&#!" !!',/&."!$//!"&)#!!/L/L9!/,8+/%&8+/:
%& /!+C!'L.!!!,>C-!"%."+."!-"8!+L /!+/.$:
%."+*L/!+C8./%&,"8* /)
#%("/."!/"%(/##"*L'(/!'!L8%!."/L'!"#B!":
" ;qd[b\[C 4I31=C !!"%( /.!8 ."+ !/,L !!,( / /!+ +*9
ˆ/!+‰ˆ!!,‰Šˆ!+!!!,‰)."#"C
sses → ss; ies → i; tional → tion; (m>1) ement →
'!"#."!&!*K$!+CR*%(8!!"%&/!/!8-!"!#*;."+=C
."N!#+."+>!,"*+%.!L/L!."$L*/#%#*%#/ /!#)
L"//!'!L8%'!"#B!"-%"8!++"#&//#%F]du€Zaa'!
"8,%&*!.!(9/##".,;)).,C014D=C¡:/##";)):
/(C014D=CF]duyd[l\;0143=)
!#-"!+%( '!"#C "8!+%( + //# Fb\fnZ ;)!+!C 0110=
/.!8 !"#$>!,/!&+/",#!/!!,(/ /!+;T.!/**+
-+%!/!+%U6T/ /U=+!-,>O#!"./)
словарями → словарь → словар-ями → ар-ями
топорами → топор → топор-ами → ор-ами
.!,%(#//+*%&"R"/L.!-%+>+/#!*)8
++* -!".!$%&!!,(//!+L# ."*M/+>O/#+!% +":
"/L *L *!-/+ /"!+L /!+! !"# T/."+ +!U ."*/+L/L + +*
-$%."&!*!+!,!'!+!#)
имя - ра - 546
има - ро - 154
огещя - те - 12
B" "8-!" /!+! /"/L .! .!/"!%# -$# ."&!*) S +!/
"-!%'!"#8+/!!-,>O'!/)
"'!( .!*&!* #!" !8 .!8+!L !."* #!" !!',/ &"":
/ 8+/!'! /!+ /+%/!!(/.> *!/!+"!/ +!#/,C/8+/
'! /!:/#,/( "8"L*) .!8% ! -! ,/! +/",>O&/L "8"L*&
8+/%& /!+ #!R! / !"#"!+ !/!+ !"#%& ."8!+) !+%#
!!/L/L9
!/!-!/ ./L ;+"&(?R( "'/"C "//?/?/.$%
/#+!%C*/!+=@
!"#L.!8$L/!++/./;8'!!+!,!."*!RL
/C.!/!+%(8."!/=@
.!+!"/!++/C!'*+!*!#8.!#(!#!#L!//+)
8+/#!/!!#-$8%& !"!+!."*L>/L+!8#!R%+"%
/!+!8#L) ."#"C *L /!+C +/ -+% !!"!'! ."!./%C +/'* */L
.!.%(8+/! /!+!+/!+" /"* #"$%& #/!-/+%&C
+/,*,C/*/!+."+%M.L/#+!!+C+"!L!/%(;!#-"!:
+%(= #!" !!',/( 8 .%/L .!/"! " 8+/#%& +" "8-!"
/!++."*.!!RC,!!!L+L/L8+#!"'8$C"$%#/O/+:
%#."'%#)
04
2.4. Морфологическая неоднозначность
#!#LAN!L+C."!!"!#*+/!+/&!*%.!./>8+,>C!
"8,%.!/#%/)8,>/,/>;/!+.* !"#"8%&/#=C'"##:
,/>;/!+.*!!+!*!(/#%=C//,/>;"8,%!""%":
!+!*!(!(R.!/*!+!//!+=*"'+*%!#!#)
!'* #% '!+!"# ! ."!-# #!" !!',/!( !*!8,!/ ;/!:
#!" !!',/L !#!#L=C ! ## + +* /!+.* /!+! !"# *+& "8%& /#
;косить косой ˆ)CR)")‰косойˆB")‰ косойˆ)C#)")‰=CR"8,%+"%8
/!++"#&!*!(/#%;косой B")ˆ#).*)C#)")‰ˆ+).*)CR)")‰=)
Снятие ; разрешение= омонимии A N. 8 /C !!"!# ."!+!*/L
+%-!"*/+!'!+"#!" !!',/!'!8*LR*!'!!)
O/+>"8,%.!*&!*%"M>8*,/LL!#!#)
z !*%C !/!+% ;!/%&= ."+&C /!/+%& N/."#:
'+/#)
z !*%C !/!+%;!/%&= ."+&C +%+!*#%&8 /!+;/ ."+L:
#%#."+L#%#!-,#=)
z !*%C !/!+%+"!L!/%&#!*L& ;/ ."+L#%# ."+L#%#
!-,#=)
z !*%C!/!+%("!%&/L&)
R*!(8N&'"..//+! *!/!/+/+!*!/),/!-%++
&/$L&C/!,+!*!##!*."8!+;*!/!/+=!-&'"..#!R.!:
8,M("8.!/"+>/"*!/'%#)
2.4.1. Разрешение омонимии на основе контекстных правил
!*"8"ML $!!(!#!#!/!+!/%&."+.!/
/+!(-8"/L//,/&#!*L&C)),%+>!/9
ученый кот;B")O)=;O)O)i=Cвеликий ученый;B")O)=;B")B")i=
прозрачного стекла;B")O)=;B")')i=Cвода стекла;O)')=;O)O)i=
S! !-/!L/+! !."*L *!/!/+ *!/ #!*) ,/ ."#:
O/+C."R*+/'!C/*!/-!+%/!>!,!/C.!/"+>/+"!L!/:
%##!*#)*!/#!*R/*>8'!//,/!(.""!*%A/:
/,//""%"//!'!L8%+/#'-#!'!!-"8%)
!*+>,/*>ON.%9
4) B!/"!.!!(// $.!+!#!#!+@
0) %*##!'!#!R/+"8"M>O&!/!+*LR*!'!.@
2) B!/"!."+L>O(/""%!-!-O!'!."+C!-/.,+>O'!#/:
#>!,!/"/.!8+L)
+!#!#+"//!#L8%!./!+"8,%&/!+"L&)
!+"ƒ))!M!(.",/$!#.!/+LO'"##,/#!#!##
+>,!!!2711"L*!+!#! !"#+*9
голубь, голубя: голубить (г), голубь (с)
гольф, гольфам, гольфами, гольфах, гольфов, гольфы: гольф (с), гольфы (с)
горе: гора (с), горе (с)
/!+"8%!!.!%!#!#%C))C !!"%&/!+.*+/L.":
*'# ;."#"C /,/ !#!#% ключ, коса=C ! ,/,%C )) #>O M
!*% !-O/!+! !"#%;стих, стекло A/O/+!?''!=C"+!!-V:
#% A / .!%# /!+.*# *L !*!'! ,/,%# *L *"'!'! ;летом A
",?/O/+!=)*!+N!#/!+"!//+>."#"%C,!.!8+!L
/+"!/>/8C +& !/&.!"-L/L R*%( !"%( !#!#)
00
S! !/!-!8"*L*!C / ,/C ,! #!'!#!#%C."+*%+ /!+"C
L+L>/L.!$%#C)).!"-L>/L!!+!*!(,/",+/'*.!,
+/'*)
!/!+ /!+"L!M!(-%"8"-!.!!'L!#! !"# "//!'!L8%C
+>,>OLK3 .!+!#!# !"#C'**L R*!'!.8!!,/+!!#! !"#
."+*%."#"%9
ˆ¢?o€[—‰{I00{совершенно, адекватно, безумно …
ˆ™y?H—‰{3J3{берег, вызову, души …
;¢A",Co€[A."'!C™yA''!+,!( !"#CHA/O/+!@8+8:
*!,;—=8%+T"/M"%(U.C."#"CH—AN!!!/O/+%
;H=C!.!*!-L>O/L#//,//!+C,%#/!#L=)
!/!++%*%&.!+C +/+!>!,"*C-%"8"-!%."+;+"#!:
!'+!"!+AT*'!/,//$U=*L"8"ML!#!#9
€4•ˆo—?H—:;его/ее/их=‰•€0C'*
€4C€0∊GCG–£,C,/8.C*+!CˆqF—‰Cˆ™y‰Cˆ™c]y‰Cˆ¢^‰CˆHx[‰Cˆkdfx‰¤
/#R*€4€0¥
∃ ∧ ∃ˆH—‰ ¥ ˆo—‰ŠˆH‰
L'(/!'!L8%!',%( .!*&!*-%."*!R+4IIJ ') 8+'"#:
#!( !'",( ;ld]`b[Zc]b r[ZffZ[=) # /.!8!+/ ."+ +* Tвыполни
действие X над объектом Y в контексте ZU)."+!(+"/A4011."+C!/!+%&
'"##C011N+"/,/&."+C.!!#*!M*!2D11."+)B"+."#L>:
/L + !."*!( .!/*!+!/C .!!,"*! R*!# /!+ /C + /!!
."!&!*!+;$!+=C.!."!&!**/+!("8)
B"#"."+*L'(/!'!L8%9
bZr9[\g˜™G5ˆ:bZr9˜¢_5¦œ:4žAT/>,'™GC//!/*"//!L˜:45
;)).!/"*/+)/!/*/+=#'¢_U)
B"#*!'!."+9
bm\?£¢_¤acrmb?£††CHHC™G¤Šbm\?£¢_¤acrmb?£††CHH¤
B"!-#%+/&#!*!+!/!+!/%&."+9=!*!"!*%'"..%"8!'!
.C€=N.//C))#"%(."!.//!+).",/&."!RL&C!""!:
+%& !"% .!*VL8%C $/!!-"8! ."# R"!'! .!*&!* / '!
."'#,/#"ML#A+%*'"..%.!$%&!#!#!+C)).",:
/!#!#,%&@,/#!"!(."*#!(!-/C ,//#>:
O(-!M>,/#!'!8,!/).)
2.4.2. Разрешение омонимии на основе выводимых правил
"L*/#!" !!',/#/!+"L#/O/+>!".//!+/ #!" !!',:
/!( "8#!() L '(/!'! L8% /#%( 8+/%( !"./ q\]] _[\\€Z]n A !"./
/",!("8#!(B/+/!'!+"/)L"8##!" !!',/!( !":
#$ ;qd`bZrrc]r=/.!8/L2D N'!+C !!"% !-V*L> !"#$!,/ ",
'"##,/&&""/&)
L"//!'!L8%/O/+>!"./C'/;+&!*+/!/+
;$!%(!"./"//!'!L8%==~x\]kd[xd[Z;"*/!"/'!+%(."!/!8*L
#!" !!',/C //,//#,/"8#,!'! !"./ /!+ "//!#
L8%=) L "//!'! L8% ,/ ", '"###% "//#"+>/L !*!C .!/!
/!,(!,#!'!"8#-%-%!,"8"RL;))*LR*!(!#-$
,/!-!ML=)/*/+C!-,.!"-!+!-%#!'!-!M*%&)
!"./ L+L/L /!,!#//,/& *%& ! L8% A ."#"C#!R!
8C +*% !*!8,!/ L+L>/L-!"/."!/"%#) -) 0
!"RL///!'/!"//!L8%,%#!"./#'/~x\]kd[xd[Z)
02
Таблица 2
/!#!#+"//!#L8%
Слова СинТагРус, % OpenCorpora,%
*!8,!!."*% 7JCK3 J1C37
!*!8,%##!" !!',/#&""/# 0KCK3 4DC24
!*!8,!(,/>", 40C71 44CI4
!*!8,!(##!(,/>", 44CJ1 1C0D
!*!8,!(##!(#!" )X""/# 0C0D 1C11
!*!8,!(##!( 1C73 1CDJ
!/!+*%&!"./#!R!+!#,//'""!+."+C"8"M>O
!#!#>) B"#"!# #!* / +!#,/!( '"$( ."+ L+L/L #!* #":
/!'!'+/S""L;4II0=)-,#!*+%'L*/*>O#!-"8!#9
4) $8$L9 R*!# /!+ .!/+ + /!!+/+ /#%( ,/!%( '
;+ !"' A ,/ ",= N!'! /!+) 8+/% /!+ /, .! #!,>
/O/+%#)M'$8$,/L!!!-,C!"-!
#!*.!/L>!#!#)
0) !8*."+!"/ !"#$*L/#!("/."!/"!(!M-)
2) B!+!"+!"!(M'*!*!/RLR#!'!###!M-!)
B"+"/ !"#$ ."*/+L>/!-!(-!"T/"%('C !+%('C /!+UC
."#."+8>,/L+8#/"!'!'!+%(."+%.!8:
!'! /!+L) /!# *!'! #!* L+L/L .* "!/ !,!/ / "!/!# ,/
."+C,!/!'//L/."$.!#B"!9T31§/(!-/.,+>01§"8U)
! R +"#L ."$. "-! + !-"> /!"!9 +%.!L !*!'! !! M'
$8$*!/!,!*L*!/RL+%/!!( !,!//LL!#!#).!:
8 /%C ."!+*% !"./ '/C #!* .!8+!L !."* ,/ ",
R*!'!/!+/!,!/>3IC4§C.!%(-!"#!" !!',/&&""/A/!,:
!/>JDC0§)
2.4.3. Вероятностные методы разрешения омонимии
L."#L+"!L!/%&#!*!+!-&!*#!".//!+/#!" !!',/!(
"8#!(/!/L!(#!" !!',/!(!#!#(C!/!+!!"!'!-*!/O/+L/L
!-,+"!L!/(R*!'!+""8-!"/!+)
!/!+"8##!R!.!, !"#$>!"/."*+"!L!/(#R:
*+"#"8-!"C."#"9
стекла £/!9414)21{/,9J)71¤
падали £.*932)01{.*94)I1¤
,+*!C ,! N *% #!' # .!#!, !! / !/,# /.!8#%&
!"#/!+C*L-!!,!'!8!-&!*#!,%+!/C#!.!*!-"
!(N'C!!"%(#/#8" !"#9
P ;/!+!{N'=—P;N'{."*%*OnN'!+=C
'* P ;/!+!{N'=A/!+L+"!L!/.!L+L+*!##/8!'!/!+C
."/!+C,!!!-*#*%(N'C
P ;N'{."*%*OnN'!+=A/!+L+"!L!/.!L+L*!'!N'C
."/!+,L*!N!'!8!(/"8nN'!+)
07
*# 8 -! "/."!/"%& .!*&!*!+ L+L/L .!*&!* !/!+ /"%%&
Рис. 9.
Пример скрытой
#"!+/&#!*(;”cgg\]eZ[nd^edg\a=)S!!$.!."!/L#!*C!./%+#L
//#!(+*
£S, K, P, A, B¤C
'*
SA#!R/+!/"%%&/!/!L(;'C+."!O!(
#!*A,/",C"/)I=@
КA#!R/+!->*#%&/!-%(;/!+=@
P A +"!L!/ /!/!L( ;+"!L!/ +/"
!."*%('=@
A A +"!L!/ ."&!*!+ ;+"!L!/ +/"
.!/*!+!/'!+=@
В A +"!L!/ ->*#%& /!-%( ;+"!L!/
->*L/!+8/!/!LLAN#//L=)
B!/!'!!/!+!"./.!/,%8:
,L +/& ."#"!+C /"%L #"!+/L #!*
'!!+).!#!O>#!R!!$++"!L!/
/!!+/+L."*!RL$.!,'!+)
марковской модели
L&!R*L/#%&+"!L%&.!/*!+:
!/(+/"%%&#"!+/&#!*L&-%"8"-!алгоритм Витерби ;4IDJ=C!'"-!:
%!!"!'!8>,/L+/*>O#9."R*,#(-!+"!L>.!/*!+:
!/'!+£t1, ..., tn¤CR!8-!+"!L%.!/*!+!/£t1, ..., tn-1¤C#C
+/+!>!,"*CR%.!/*!+!/!*N#!"!,C**!."!/(:
M(.!/*!+!/ £t1¤C/!!"!( ,/L +%,/) # !-"8!#C >-!#
N."/,-*&"/L+/+!8#!R%+"%C!!-!+"!L%)S!C
+,/!/C!8,C,!+N.&/!*!8,%#/!+!#!//L!!!*;/#%(+"!:
L%(=+"C!."*L>O(+/'*L."!(*!(,/."*!RL)
#!-"8!#C-%! .!8!C ,!*L/LL !#!# #!'."#L/L "8,:
% #!*%) *!('+-* "//#"+/L .!*&!*C !/!+%( ("!%&
/L&)*!#!!C,!.>/!#("!%&/(L+L/L.!//"%%&8+:
/#!/(C!*L!-,L"-/L#!'!-!M"8#,%&*%&C))!"./!+/!
/L!(+",>!#!#()
2.5. Исправление ошибок
B"!-# #!" !!',/!'! 8 8!#%& /!+ ;!//+>O& + /!+"=
/+L8!! /*!/!,!( .!!!(/!+"(C,!."/8%+/L!!
+8!/.$8"!+%&!-/L&C!/!'"!#%#!,/+!#/R%&/!+C!.,:
!C!!'8#!+C,!"(8"*L&8;!/!-!N!&""!*L":
/!+=)!*!#8"'%&/!!+! "$T!'U."*/+*/'!+!:
"C,!.!8!+ *>!!!731 !.,!+ * +/!+ одноклассники) #/L$
!,/+! %& !.,! ."+%M 4K11) B" N!# ! 31 *! I1§ +/& !.,!
!/!L ! !"' !* !M-) B!N!# /!+"#% //#% !-L8! #>
+/+!#/!/+#!*!-"-!!""!./%&/!+)
-%,! *L +%L+L !M-! /.!8/L !" !'" ,/( !"! !/!+
/!+"L!/!+#!*"!+L/!+!8#L)!/!!#C,!!//+!" !'":
,/&8#,('""!!M-!."+!./L9
Целю организации является…
Пуск осуществляется красКой кнопкой.
Частый детектив
0K
!8#!R!/'"##,/&!""!"!+.!!'",%C!#!'!/O/+L
/*>O.%."!+"!9
88!#%&/!+.!/-!-8&/!+.!/!+">C
!"#%."!+";/,/.!+!"%C/!-=C
."!+"/!'/!+L;#%'"..%C.!*RO:/8#!=C
."!+"."+L;!'",!A."*!'*")=)
."+%8*,/."+L!M-!+/!+&.!/++4IDK'!*/!+/(##:
)<+M()/!+!("ML*!(8*,L+L>/L'!"#%,!'!.!/
.!/.!/&!*/+;yh¨¨s`b[c]r`\Z[lm=)!"#!.!/!+8*,+%'L*/*>:
O#!-"8!#)
L8*!'!.!/!+!'!8."!/Y!-&!*#!+%-"8/!+"L¢.!*#!R/+!
q+/&/!+C#"!,L!!"%&!.!/!+!'!8."!/."+%M!!"!'!.!"!'!:
+!'!8,LH9
q–£q
{qc∊¢∧;qcCY=©H¤C
c
'*AN!#"C)) $L"//!LL#R**+#L/!+#C .!8+!L>OL!$
/.&/&!*/++*!#!/)
2.5.1. Меры сходства
//#!"#-!8+/%#")
4) //!LX##'A ,/!.!8$(C+ !!"%&"8,>/L/#+!% 0:&/"!
!*!+!( *%) //!L X##' L+L/L #"!( !! #!R/+
/!+!*!+!(*%)
0) //!L <+M( ;"//!L "*"!+L= A ##! !,/+!
!*!/#+!%& !."$( ;+/+C *LC 8#%=C !-&!*#%& *L ."+":
OL!*!(.!/*!+!//#+!!++*"'>)'!"#+%,/L"-
~;f—]=!."$(C'*f]A*/"++#%&/!+)
2) //!L#":<+M(A#!* $L"//!LL<+M(9!.":
$L#+/+C*L 8#% /#+!!+C !."*:
•%&+"//!L<+M(C*!-+!.":
$L "/.!8$;."/!+=/#+!!+;"/)41=)
"*" #".!8C,!31§!M-!.":
-!"/,!+!#L+L>/L"/.!8$L#;.:
"/!+=C .!N!# #! *L #" *
,M "8% .") L • R
/O/+'!"#C"->O(~;f—]=!."$()
Рис. 10. Пример ошибок
7) //!L R"!:" /.!8 !N $:
#/M-"!+LC ,! * -! -'!."L% "(' /"!#C !!"%
/!+.*> *"' / *"'!# ! , *! !."*•!( *%C !!"L 8%+/L
." /!#)
R-%+!-&!*#!+%,/L"//!L #R*." /!#:!-"8$!#/"!:
!(A)) ("//!L#R*8*%# ." /!#-R(M# ." /!#/"!)
N!# /, !-&!*#! +8L #M 8 "//!L( ! ." /:!-"8$ *! +/&
." /!+/"!)
*, +%,/L "//!LL <+M( '! "M/L #!*!# *#,/!'!
."!'"##"!+L'"AM"C+!!"!#.!/*!+!C.!."*%*O#8,L#C
+%,/L>/L "//!LL #R*+/-! -!*%#." /#*+&/"!A*!
.!,L!!,!'!"8)
/!#! "//!L !"#"/L ,"8 +/.!#!'> $>¢ ;eC H=C &!*L:
O>"*$!!"//!L*L.!*/"!F4œ1))ežF0œ1))HžC*L!!"!(+"!9¢;1C1=–1
;./% /"! /!+.*>=@ ¢;cC 1= – c@ ¢;1C ª= – ª ;>-L /"! #!R .!,/L
0D
8 ./!( *!-+# R!'! !,/+ R%& /#+!!+=@ + !-O# /, ,
/!R9
¢;cCª=–¢;c:4Cª:4=Cесли F4œcž–F0œªžC
иначе ¢;cCª=–fc];¢;c:4Cª=C¢;cCª:4=C¢;c:4Cª:4==64)
*!#/,C#%+%-"#C,!+%'!*9
*/#+!¢;c:4Cª=C
*!-+/#+!¢;cCª:4=C
8#/#+!¢;c:4Cª:4=)
L+%,/L"//!LL#"A<+M(*!-+L/L+"9
."/!+/#+!!+¢;c:0Cª:0=C
$L#!'!/!RL/L9
¢;cCª=–¢;c:4Cª:4=C/F4œcž–F0œªžC
¢;cCª=–fc];¢;c:4Cª=C¢;cCª:4=C¢;c:4Cª:4=C¢;c:0Cª:0==64Cесли F4œcž–F0œª:4žF4œc:4ž–F0œªžC
,¢;cCª=–fc];¢;c:4Cª=C¢;cCª:4=C¢;c:4Cª:4==64)
#!-"8!#C"-!'!"##!R!."*/+.!/*!+!8.!
*'!%&L,#"$%e—H)/.!/#!"."!$//"-!%'!"#C/!R!
8#C,!R*!#M'/.!8>/L!!*+.!/*/"!#"$%C/*!+:
!C.!"-.#L#!R!#M*!~;fc];fC]=—fc];fC]==)
/ /! 8*, &!R*L -! n "8,(C ! R! +%,/L + #"$
M *'!> .!!/ M"!( 0n64 ;!/, !=C ,! /+!* +"#>
/!R!/~;n—fc];fC]==)
2.5.2. Алгоритмы нечеткого поиска
B"!/!(."-!"//.!8!+#!(:-!#"/!8+/!!,/+
!M-!n)/",8&!*!.!/+8#%&/&-!M!'!!-V#C!+"#L.!/:
#!R!8,!/!"C."!8+*L."*+">!-"-!/CR8%:
+#> индексацией) //#!"#C # #!' -% '!"#%C "8>O ,(
.!//."*+"!(*/$()
Алгоритм расширения выборки /+!* 8*, ! ,!# .!/ 8*, ! !,!#
.!/) /!+L *L 8>,/L + !#C ,! 8 /&!*!'! 8."!/ /"!/L #!R/+!
T!M-!,%&U /!+ 8# !/O/+L/L !,%( .!/ R*!'! T!M-!,!'!U /!+
+/!+")
%# '!"# ."## *L -!M& /!+"( "- *!.!!(
!-"-!/!+"L.#L)"#L'!"-!%/!8+/!,/n!M-!!"8:
#" +o9~;;m{o{=
n
—m —adrn=)
."#"C."n–4/!+*%f–3;."#"CT"!!*U=+"//!# +
#!R/+! !M-!,%& /!+-*"8#"!#!!!7K1C !/-*!-&!*#! /*
7K18."!/!+/!+">C,!+.!."##!)!R."n–0"8#"!'!#!R/+
-*/!/+L-!44K%/L,+"!+C,!/!!+/+.!!#."-!"-!M!:
'!/!+"LC/*!+!C+"#L"-!%-**!/!,!+!)
Метод N-грамм !/!+%+/L ."$.9 T/ /!+! /!+.* /! /!+!#
/ ,!# /!& !M-!C ! / -!M!( *!( +"!L!/ & -* &!L -% !*
!-OL.!*/"!*%HU)S.!*/"!*%H8%+>/LH:'"###)
S!#!*-%."*#*!+!!*+!L+L/L-!M"!!/.!8#%#C
'! "8$L "( ."!/ ! !-/.,+ *!/!,! &!"!M> ."!8+!:
*!/)!*/.!8."*+">*/$>9/!+/!+"L"8-+>/L
H:'"##%/"!L/L/.//!+*LR*!(H:'"##%)."#"C*LH–2
крокодил –"!6"!6!!6!*6!*6*
*9дилетант, проходил, …
!*9викодин, кодеин, ..
0J
B".!//!+!"8-+/LH:'"##%!/O/+L/L.!/*!+%(."-!"
/./!+)
*!/!'!"#H:'"## 8>,/L+!#C,! !&!* +/+!8#!R%
/!+/!M-#)|##M*/!+,#-!M+#!M-!C#+%MM/!'!C
,!!!.!.*+/!!+/+>OH:'"###8."!//./-*."//+!+
+"8)."#"C
вотка –+!6!6C/!+!водка -*(*!)
!* H:'"## !/+L .!%( ."!/!" *L /.!8!+L /!-/+%& #"C
!8N!."&!*/L.A."'!/.!8!+!//L!-&!*#!/+.!/*!+:
!#."-!"!!!4K§/!+"LC,!*!/!,!#!'!*L/!+"(-!M!'!!-V#)
O/+> "8,% #!* $ #!* H:'"##C ."#"C ." */$
;.!/"!&M:-$%H:'"##="8--$%.!*/!+,%+.!8$
H:'"##% + /!+ ;+ N!# /, ." .!/ !-&!*#! -* ."!+" M -$C
/!!+/+>O>.!8$N!(H:'"##%+/!+CRn-$/+n-$/."+C
))+/'!0n64-$=)
'!"#хеширование по сигнатуре;!($!+<))=-8"/L*!/!,!!,+*:
!# ."*/+ T/""%U /!+ + +* -!+%& "8"L*!+C /.!8#!( + ,/+
&M ;/'"%= + &M:-$) B" */$ *L R*!'! /!+ +%,/L/L &M
;*/+&M:-$=C R*!#*/-$%/!.!/+L/L/./! /!+"%&/!+)
B".!/9
+%,/L/L&M/!+:8."!/C
."-">/L+//!/*&MC!,>O/L-!,#+n-&C
*LR*!'!8&M(."!8+!*/L."-!"/.//!!+/+>O&#/!+)
B"!$// +%,/L &M A R*!# -
&M /!.!/+L/L'"../#+!!+ 8 +
;"/)44=) +"8-+/L'"..%-+C
,!-% +/",#!/ -+ 8 "8%& '".. -%
."#"! !*!+) !'* - 4 .!8$ c
+&M!8,C,!+/&!*!#/!+."//+
/#+!8 c:!('"..% +C."N!# .!"L*!
-+ + /!+ -/!>! !'! 8,L
#)
//#!"#C ! +L!8%+>"*:
!"/!."$&M9
."/!+A-88#(C
*A-!8#&MC-!/!!:
+/+>O( N!( '".. - 8#/L
1C
Рис. 11. Пример вычисления
хеш-функции
+/+ A -! 8# &MC -! -
8#/L4C
8#A-!8#&MC-!8#/L+4:(0:(.!8$L&)
"#L "-!%C +/"*#C ." n T.!%&U ;+/+C *L "/.!8$C
R#L,/8#=!M-&9~;{”{
n
—]?0
{”{
=C'*n A N!"8#"/!+"LC{{A*
&M)
# !-"8!#C '!"# N +! "-! / ."/!+# # ."!-#%
/,!#8#)O!*#*!/!#L+L/L!C,!!.!**"R+." /%(
.!/ A )) .!/ "//!LL #R* 8*%# ." /!# -R(M# ." /!#
/"!)
03
3. Лингвистическое моделирование
!-&!*#!/+#!*"!++!8+!+/& &,%& !-/L&C'* !-V
*!/..!/"*/+!#->*>)&/,L&!!-%,!.!*!-L:
/L!#T,"!#LOUC!!!"!#8+/!!!C,!!.!,T+&!*U,!
!+%*T+%&!*U)*,/!/!+!#C,!-%8/!*"R#!T,"!'!LOUA
! /"%%( ! //*!+L #&8#C !!"%( !/O/+L .""-! /&!*%&
#"!++!,%."!*%)
B!/! +!8#!R! "8!-" T,"%( LOUC "M+ !*!+"#! '!
$!"!+LC!//L*/+%(..!8>M'!!-V9#%*!R%
!/!+ /!.!/+L /&!*%& !,%& *%&.!/"! !-"8!-VC))+%*+:
'.!8!'!+!8#!R!#/"!(/+"8!+++*!',/!(#M%C/.!:
/!-!( .""-%+ !!"%( #" !,! RC N! * /# T,"%(
LOU)/M!',/!/"!(/+!*(/+! $!"!',%#!-":
8!#C!!L+L/L.."!/#$(Cмоделью объектаC#%#!R#/,C,!8!:
R%(+'!#&8#+! +/&/O/+%& *L&/!+.* /#&8#!#C/!*"R:
O#/L + T,"!# LOU) % *!-+#/L .!#L #&8#C *!/.!'! M#
->*>C .!*!-LL'!#&8#C /"!(/+!!!"!'!#&!"!M!8+/!) #
!-"8!#C/#%/#!*"!+L/!/!+!#C,!-%+#/!/"%%&!//+!(/+!-V
8,8*%+L+!#+*/+!(/+#!*"/."!/"!-V+/8!%C
!!"%+%+*%*L#!*)
!*"!+L+L/L!*#8-!!.#%&."/.+%&#!*!+
+'+/ +/!'!C,!-!M!!,/+!L+(L8%8L ->*.!:
/"*/+! ;."#"C ."!$// +!/."LL /!+ + #!8' ,!+ !"#"!+
/# /!+ 8 /#=) S! /+L8! / #C ,! ."*/+ !",/& .!!R(
'.!8/'!/>.!**/L!./>/.!#!O>#!*C.!##!N!'!C#!*"!+:
&!"!M!!"""/."##!#.>"%&&!!'(+'+/)
3.1. Лингвистические модели
8,! /#! .!L #!* 8"!R*/L + "#& /""!( '+/
;)<)>"C))X""/C|)X!=C!*!+&!*+,%(!-&!*+D1AJ1:'')XX+
+/+L8/+!8!+###,/!('+/)
Модель ; "$)fdg«a\C!)fdghah`A#"=+'+/9
4)///+!/!8*!'+/!#"!#%/!/"!(/+!C+!/."!8:
+!*LOC#">O/+!# .!+*#;!-%,!+ ."!O•!#+*= .!+*!'!:
-!*"'!'!;T/!LO'!U=/"!(/+;!"'=+'+/,/&$L&)
0) -"8$C /RO( /*"!#;N!!#=*L#//!+!'!+!/."!8+*L@!RC
,! T.UC T/&#UC T."*'#UC T/""U ).) ;."#"C T#!* /."LRL
/!LUCT/!+!!-"8!+L#!*UCT#!*."*!RLU=)
"#!!.!/"!#!*!/!+%+/L.!#/+!(/+#!*!/!-!:
/( $!"!+L)!*L8%C."+!C/!8*>/L!/!+/+!(/+//:
+!'!L8%),/+#!*+'+/!-%,!"//#"+>9
z !-"8$;aZ]rhZr\xZbb\[]=&:-!/!+%&*$;/!+C."*!R(=@
z /&#% *L !./L L8%!+%& !-V!+ ;."#"C /&# #!* /!/+L>O&
+///=C
z !"#8!+L !"L/""% / /"!+%##L8%!# ;."#"C !":
#%'"##=)
,/+."#"'+/,/!(#!*"//#!"# "'#!./L/!+!/!:
,(/.!#!O>/&#;-)2=)
0I
/!+"#%&#!*&!
C+!!"%
, …, w
!R!!$*>/!
+"!L!/;."+!$.!,=9
)
*!+%,/L!,>
‰
,!,#!'!&#!R
+"!L!//!+/,!#
C+/
$.!,*%0C/!/!LO&8/
оскве<
<s>шагаю босиком по улиц
N!#8>,/L/#%/
+"!L!/ N# .!/*!+
.!/*!+!//
'*+"!L!//.L
#!-"8!#C+"!L!/
*L +%& L8%!+; !
!-"/L#!*L#
!*/!+!/!,L
+"!L!/."*!RL;.!/*!+
.") P
2=.",/"!C*L-!
; C =
; { = C
; =
c w w
;
{ˆ`‰=–1)22
,O
Таблица 3
вероятностные модели
P;S= = P;w1, w
2
P;S= = P;w1=P(w2|w
."*M/+>O&/!+;*Ln
+
+"!L!/C."!/+9
'*c;w=A!,/+!/!+w
<s>иду шагаю по М
<s>иду на вы</s>
=A
n
;w3|w1,w2=…P;wn|w1,w2,…,w
1
P w w
i i 1
i 1 i
c w
w1w2C+/"+M&/L+/)
=)
n-1
i 1
q;иду{ˆ`‰=–1)DJ
q;шагаю
q;шагаю{иду=–1)K
+"!L!/)
n/!+)
C
n&$.!:
c
w1, w2=A!,/+!
%:
¬"!+A
+."*%*O#/!-%)
%#A
.
/#!/C
/+L8
*:
21
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]