Но этот меч, который я даю вам в руки,

есть лучший из всех мечей, что я раньше сделал.

Для этой цели удача посетила меня.

Я сделал это из философских соображений...

Оружейник Хаттори Хансо

Голос	Аудиофайл	Применялись ли словарные замены
Acapela Elan Nikolai 16 kHz	MK-Nikolai.mp3	Да ($Дантес=Дантэ<с | *смотрите,=смотри<те, | замке=за<мке | *гляды*=гля<ды | поднял*=подня<л | хозяин*=хозя<ин | вот=во<т | *нибудь=нибу<дьь)
Next Up Katerina-2	MK-Katerina2.mp3	Нет
Acapela Alyona 2.210	MK-Alyona.mp3	Да ($Лево=лево | смотрите=сматрите | губам=губ'ам)
Loquendo Olga	MK-Olga.mp3	Да ($Дантес=Дант^ес | смотрите=смотр^ите | тартан*=тарт^ан | выстрел*=в^ыстрел)

Ходы кривые роет подземный умный крот.

Нормальные герои всегда идут в обход!

Глупцы, героев строя, бросаются вперед.

Нормальные герои - всегда наоборот.

В обход идти, понятно, не очень-то легко.

Не очень-то приятно и очень далеко.

Зато так поступают одни лишь мудрецы,

Зато так наступают одни лишь храбрецы.

И мы с пути кривого ни разу не свернем!

А, надо будет - снова пойдем кривым путем!

Песенка из кинофильма "Айболит-66"

# Так выделяются комментарии

рыцарский замок=рыцарский за<мок

нет=не<тЪ

$Варя=Ва<ря

##=номер

$$100=сто долларов

# Звездочки справа и/или слева обозначают

# так называемое "сравнение по маске"

туник*=туни<к

*графии=гра<фии

*автобус*=авто<бус

$Серов*=Се>ро<в

*го гнезда=го гнезда<

*, то есть=, то<есть

   Принцип понятен. При этом, в первую очередь рассматриваются правила с самыми длинными левыми частями.

   Фраза "Иван Петрович Серов - профессор этнографии, нашарил в кармане туники последние $100 и решил ехать на автобусе" после подстановок примет вид: "Иван Петрович Се>ро<в профессор этногра<фии нашарил в кармане туни<ки последние сто долларов и решил ехать на авто<бусе".

   # и $ - соответственно, знаки комментария и учета регистра букв при заменах. Чтобы употребить их, просто как символы, их надо удвоить. То же относится и к символу *. Иначе звездочки справа и/или слева обозначают т.н. сравнение по маске: оно считается удачным, если обеспечено совпадение с указанной частью слова. Под одну маску могут подходить разные, но частично совпадающие слова. Знаки < > - основное и вспомогательное ударения для движка Nicolai. Для других движков знаки ударения - другие или их может не быть вовсе. Тогда эффект ударения можно получить удвоением гласной и т.п. В общем, свобода и воля. Универсализм.

   Алгоритм замен очень прост и интуитивно понятен. Каждое правило из словаря применяется ко всему тексту. Правила применяются в порядке убывания длин их левых частей. Т.е. первым будет проверяться правило с самой длинной левой частью. Это логично: сперва в тексте должны заменены самые большие фрагменты. Правила с левыми частями одинаковой длины применяются в том порядке, в каком они расположены в словаре. Как только обнаружено совпадение, так тут же в тексте делается замена и т.д. до конца текста.

   В жизни это выглядело бы так. Пусть нам нужно перевести с английского некую интересную книжку. В руках у нас англо-русский словарик, слов эдак на 20 тысяч. Берем 1-е слово из словаря. Читаем книжку от начала до конца в поисках этого слова. Затем переходим ко 2-му слову в словаре и снова читаем книжку целиком. И т.д. пока словарь не закончится.

   Слышу голос читателя: "БРЕД!!!"

   Согласен. Именно такую бредятину часто пишут программисты, уповая на мощь современных компьютеров. Это называется "прямой перебор".

   Те, кто пользовался "Говорилкой", заметили, что она делает легкие паузы через каждые 4-5 предложений. Именно такими мельчайшими порциями программа читает текст. Словарные замены занимают в этом случае доли секунды. Но заминки в чтении уже ощутимы.

   Можно заменить функции поиска и замены (простите за каламбур) их ассемблерными аналогами. Есть еще несколько дополнительных технических приемов для снижения трудоемкости прямого перебора. В результате всё будет работать в несколько раз быстрее, нежели в описанной выше бесхитростной реализации. А можно пойти другим путем.

   "Швейная машинка Зингера отличается тем, что отверстие для нитки расположено на конце иглы". Здесь мы рассмотрим алгоритм, отличаеющийся тем, что проверяются все слова из текста в поисках совпадений в заранее составленной хеш-таблице.

   Как, на самом деле, мы переводим текст со словарем? Мы смотрим сперва в книгу, а не в словарь! Взявши очередное слово из текста, мы ищем его в словаре. Благодаря алфавитным высечкам на его страницах поиск нужного слова занимает секунды.

   Еще лучше сказочная ситуация, когда в книге над каждым словом был бы мелкими цифрами напечатан номер страницы, где его искать в словаре. По сути, именно это я и сделал.

   Вспомним, что каждый символ текста имеет в компьютерном представлении числовой код. Комбинируя (специальным образом) коды всех букв в слове, я получаю адрес - номер строки хеш-таблицы, где его искать. Как составлена хеш-таблица? Обработкой файла словаря: для каждого правила вычисляется адрес его первого слова. Разумеется, может быть несколько правил с одинаковым первым словом (видеть | видеть звезды=видеть звёзды | видеть стены=видеть сте<ны | видеть цвета=видеть цвета<). Тогда в одну строку хеш-таблицы сядет целое словарное гнездо.

   Правила, попавшие в одно словарное гнездо,  необходимо расположить в порядке убывания длин их левых частей. Тем самым, хоть и не напрямую, но выполняется требование стандарта словарей DIC о порядке применении правил к тексту.

   Правила со звездочками обрабатываются наравне с остальными, звездочка - тоже "буква". В итоге, каждое правило находится строго на своем месте, откуда будет взято в нужный момент.

   Каждое слово может быть найдено в хеш-таблице как одиночное, или как первое в словосочетании. Если, вычислив адрес слова, мы в хеш-таблице обнаружили пустую строку - значит, этого слова в словаре нет. Поехали дальше? Не будем спешить. Не нашли слова "похлебка"? Перебираем все его "огрызки", отбрасывая по одной букве справа и слева и добавляя звездочку с той стороны, где отсечены буквы. Для каждого варианта вычисляем адрес. Ищем. Мимо? Следующий огрызок. Наконец-то! *охлеб* | *охлеб*=охлёб. Делаем замену и проверяем следующее правило в этом же словарном гнезде. Когда проверка гнезда будет закончена, то перейдем к следующему слову в тексте.

   Проверка словосочетания на совпадение с правилом из словаря проводится сравнением по маске каждого слова в левой части правила со словами, входящими в словосочетание. В результате получилось расширенное толкование правил со звездочкой. Она может находиться не только в конце и/или начале левой части правила, а в конце и/или начале любого слова в левой части правила. Например, чтобы задать произношение фраз: "У ворот города началась битва", "Изменников повесили на воротах города", "Над воротами города реяли стяги", достаточно одного правила: ворот* города=воро<т го<рода.

   Если в правой части замен больше, чем шаблонов в левой, то "лишние" замены предварительно объединяются, чтобы избежать конфузий наподобие: *- неп*=- не' п | Это- неправильно => Это- не'равильно п . Здесь замены не' п надо считать за одну, тогда обе части правила станут сбалансированы.

   Аналогично, если в левой части шаблонов больше, чем замен в правой, то справа добавляется необходимое число "пустых" замен. Слово, которому целиком досталась такая замена, исключается из рассмотрения. А еще бывает, что после пустой замены от слова остается одна "задняя" часть. Такой обрубок логично присоединить вплотную к предыдущим словам. Вот: *к что о*=к_что_о (пусто) (пусто) | так что он => так_что_он . В этом примере продемонстрировано исчезновение слова "что" и превращение слова "он" в несамостоятельный охвосток "н".

   Разные мелочи вроде оптимального размера хеш-таблицы, разрешения коллизий и т.п. опускаю. Читайте библию от Д.Кнута "Искусство программирования" т.3 "Сортировка и поиск", глава 6, раздел 4 "Хеширование".

   Скорость работы этого алгоритма практически на порядок выше, чем у "бесхитростной" версии  метода прямого перебора. Конечно, его реализация требует от программиста бОльших усилий. Сравните: сколько слов я потратил на описание прямого перебора, а сколько на "хеш-алгоритм"?

   В результате Demagog может безбоязненно глотать куски текста намного большие, чем абзац. По умолчанию я поставил 4096 символов - примерно книжная страница. 

   Множественные замены. Как отмечалось выше, вполне возможна ситуация, когда некоторая часть слова меняется по одному правилу, другая часть - по следующему и т.д. Ведь алгоритм, рассматривая один за другим, "огрызки" данного слова, не останавливаемся после первой замены, а проверяет следующие.

   И ему по зубам фразы типа: "Злостная антисоветчица - это devochka, vsegda неправильно подсказывающая товарищам na urokah". В слове "антисоветчица" производится 2 замены (анти'сове<тчица), в слове devochka - 7. Корректно отрабатываются и двойные замены вида "простое правило - сложное правило": *ическ*=и<ческ | *ого ко<рпуса ; металлического корпуса => металли<ческого ко<рпуса. Или: *даленн*=далённ | *ые земли=ые зе<мли ; отдаленные земли => отдалённые зе<мли. Могут быть случаи, когда различные части слова расщепляются на несколько слов, а остальные меняются по правилам транслита: http://arnys@mail.ru => эйч ти ти пи.арнис, сабака, мэйл точка ру - 11 замен.

   "Звездные правила". Если левая часть правила состоит только из звездочек, (быть может, разделенных пробелами), то все звездочки считаются просто символами. Сравнение с текстом производится не по маске, а на простое равенство строк. Например:

* * *=...новый раздел...	- заменяется строка * * *
*=	- заменяется (на пустую) строка *

   Видим, что удвоения оконечных звездочек, применяемого в классическом формате dic, не требуется! Тем самым мы избавлены от необходимости сочинять нелогичности, вроде: *****=три звезды | **=одна звезда.

   А еще алгоритмом принципиально игнорируются вот такие дикие правила: *пробелы=пробел. Для прямого перебора они имели некоторый смысл - замена в тексте нескольких идущих подряд пробелов одним. У нас же все они превратятся в *= . А если этого правила в явном виде в словаре нет, то и не надо, чтобы оно невесть откуда возникало.

   Остается рассмотреть случай, когда отдельно стоящая звездочка соседствует с "нормальными" шаблонами и имеет равные с ними права. Неужели это будет работать?! Ведь под маску из одной только звездочки подойдет любое слово в тексте! Успокойтесь и дышите глубже. По правилу: * то есть=то<есть в тексте будет найдено любое слово, за которым идут слова то есть. Найденное слово не подлежит замене, заменятся лишь следующие за ним, конкретизировавшие поиск слова. Простая, то есть - несложная. => Простая, то<есть - несложная.

    Еще круче: все * *ло=всё ло | Все давно прошло. => Всё давно прошло. | Все вокруг потемнело. => Всё вокруг потемнело.  | Все мне надоело. => Всё мне надоело. И так далее... Чёртова уйма вариантов с омографом ВСЕ/ВСЁ решается одним правилом.

   Заметим, что классический формат dic в этом отношении бессилен, ничего, кроме нудного добавления каждой из вариантных строк в словарь он предложить не может.

   Что в итоге? Проверка на большом тексте (15мб), с подключенным "великим и ужасным" словарем Michelangelo.dic показала, что измененный словарными подстановками текст на 99.797% совпадает с результатами классического прямого перебора ("Балаболка"). Вполне удовлетворительно.

   Нормально выполняются даже такие (лично меня приводящие в содрогание) правила:

$*. а=. А | Мы – нет. а вы? => Мы - нет. А вы?

$*! а=! А | Вы – нет! а мы - да. => Вы – нет! А мы – да.

$*? а=? А | Вы – нет? а мы - да. => Вы – нет? А мы – да.

$*- а=- А | Вышло- а как же... => Вышло- А как же...

   На этом пора поставить точку и отложить перо (тьфу, клавиатуру) в сторону.

   У нас получился быстродействующий алгоритм с расширенным толкованием стандарта DIC: 1) звездочки могут находится не только в начале и/или конце левой части правила, а в начале и/или конце любого слова в левой части правила; 2) звездочки могут стоять там отдельно, обозначая любое слово проверяемого текста; 3) если в левой части правила - одни лишь звездочки, то они понимаются, как просто набор символов, подлежащих замене.

4. X-files. (Секретные материалы)

    Тайна "быстрого алгоритма". Допустим, в словаре есть 2 правила, расположенные в следующем порядке:

*ащенн*=ащённ

...

*враще*=враще<

    Как будет выглядеть измененное слово"возвращенный"? При прямом переборе правил получим верный результат: возвращённый. Ибо правила с одинаковой длиной левых частей выполняются в порядке их следования в словаре. А вот как работает наш алгоритм. В хеш-таблице образуется два словарных гнезда:

*ащенн*|*ащенн*=ащённ

...

*враще*|*враще*=враще<

    Их местоположение в хеш-таблице и порядок следования заранее неизвестны, да и не имеют значения. И вот какое гнездо будет выбрано при проверке упомянутого слова. СмотрИте: 

возвращенный

...

возвр

озвра

звращ

враще

ращен

ащенн

...

   Результатом будет: возвраще<нный. Выбор словарных гнезд происходит в том порядке, в каком генерируются ключи поиска процедурой Trunks! И как бы мы не переставляли местами сии 2 правила в словаре - итог будет один и тот же. Неутешительный. Потому что в "быстром алгоритме" в нужном порядке проверяются лишь правила, сидящие в одном словарном гнезде. А пока не сгенерирован следующий ключ, мы даже не знаем о существовании (или не существовании) очередного словарного гнезда. И не сможем понять, что текущая замена - преждевременна и делать ее не надо. Ибо найдется лучшая.

   Это - недостаток "быстрого алгоритма". Проявляющийся на частично пересекающихся правилах. Они ложатся в разные словарные гнезда (при том, что могут подходить к одному и тому же слову!) и мы имеем то, что имеем... Где-то так 1 раз на 1000. Но для больших текстов - вполне может быть. Для нашего алгоритма решением было бы: взять, да переделать проблемные правила, ибо нехорошо, когда одно правило является, по сути, продолжением другого.

   Почему никто не додумался раньше? Как было сказано, в словарях формата DIC правила положено применять к тексту в порядке убывания длин их левых частей. Символ * в подсчет длины не входит. Если эта длина для 2-х правил - одинакова, то они применяются в порядке их следования в словаре.

ПРИМЕР 1

Правила:

*^*=

муха=слон

Текст: м^у^ха

   Первым применяется правило с самой длинной левой частью: муха=слон. Оно - не подходит к тексту - замен нет; Затем выполняется правило *^*= - оно подходит, две замены. Просмотр словаря закончен, останов.

   Измененный текст: муха

   Всё верно. Но отчего-то кажется, что здесь что-то не так... А, вот оно что! Интуитивно мы ожидали, что правило *^*= сработает первым. Ведь оно и предназначено для предварительной подготовки текста. Увы - это противоречит давно устоявшемуся стандарту словарей DIC, по которому сначала проверяются длинные замены (что, кстати, вполне логично).

   Но... Если к измененному тексту снова применить тот же словарь? Итак, всё сначала. Правило: муха=слон - теперь подходит! Одна замена. Правило: *^*= уже не подходит, свою службу сослужило раньше. Словарь исчерпан, останов.

   Вторично измененный текст: слон.

   !!! Приходим к очевидному обобщению. Применять замены к тексту НЕ однократным проходом по словарю, а повторяя этот процесс до тех пор, пока он приводит к изменению текста.

   Однако, на этом пути нас подстерегает засада.

ПРИМЕР 2

Правило: *чертя*=чертя<

Текст: очертя

Измененный текст при многократном обращении к словарю:

очертя<

очертя<<

очертя<<<

и т.д. до морковкина заговенья.

   Во избежание подобных казусов, должен вестись список уже примененных правил, и каждый раз применяться лишь те правила из словаря, которых еще нет в этом списке. Тем самым гарантируется конечность алгоритма.

   Насколько будут отличаться тексты, измененные в традиционном и в только что предложенном порядке? Примерно на 0.1% в среднем. Так стоила ли игра свеч?

   Полагаю, что да. Ведь текст (на любом языке) представляет собой т.н. "последовательность редких событий". Многие слова, несущие реальную смысловую нагрузку, встречаются в нем всего лишь несколько, а то и вовсе один раз! Оставаясь при том важными для понимания текста. Поэтому, улучшение алгоритма словарных замен, касающееся даже небольшой доли слов в тексте, может оказаться полезным.

   Кроме того, нисколько не погрешив против принципа применения правил в порядке убывания длин их левых частей, мы фактически сняли это ограничение. А именно, когда короткие правила используются для очистки текста от "мусора". Более "содержательные" правила уже будут успешно применены при последующих проходах по словарю. Аналогично - при раскрытии условных сокращений и аббревиатур. И т.д. и т.п.

ПРИМЕР 3

Словарь: Michelangelo.dic

Текст: Devochka Nina - korr. CNN

Измененный текст: Де<вочка Нина - корреспонде<нт Си энээ<нн

Примененные правила:

1-й проход: а) раскрыта аббревиатура; б) текст очищен от транслита

cnn=си энээ<нн

*ch*=ч | *a*=а | *d*=д | *e*=е | *i*=и | *k*=к | *n*=н | *o*=о | *r*=р | *v*=в

2-й проход: а) применено правило постановки ударения; б) раскрыто условное сокращение

девочк*=де<вочк

*корр.=корреспондент

3-й проход - применено правило постановки ударения

корреспондент*=корреспонде<нт

   Грех не воспользоваться открывшимися возможностями. Поэтому, в настоящее время в Demagog'e используется ново-классический (скажем так) алгоритм словарных замен. Не утомляя никого подробностями, приведу основную схему:

1) Проверка ведется по словарю в целом;

2) Правила применяются в порядке убывания длины их левых частей. Символ * в подсчет длины не входит. Примеры: $ПВО - длина 4; $*O* - длина 2; *u* - длина 1; $* - длина 1; * - длина 0; и т.д. и т.п.;

3) Правила одинаковой длины применяются в том порядке, в каком стоят в словаре;

4) Сохранены все нововведения "быстрого алгоритма" касательно звездочек внутри левых частей правил. Наподобие: ворот* города=воро<т го<рода | все * *ло=всё ло | * * *=три звезды;

5) В отличие от традиционной практики, правила применяются к тексту не однократной проверкой по словарю, а до тех пор, пока возможно.

   Скорость работы составляет в среднем 68.5% от "быстрого алгоритма". Зато отсутствует отмеченный выше недостаток, проявлявшийся в чересчур поспешном выборе подходящих правил.

   Как и раньше, использованы лишь стандартные средства Delphi. А подтверждением правильности послужило совпадение результатов классического и ново-классического алгоритмов, составившее 99.850%. Оставшиеся 0.15% объясняются: а) иным принципом разбивки текста на слова, в Demagog'e разделителем слов считается только символ пробела; б) более полным применением правил в ново-классическом алгоритме. (А если просмотр словаря выполнять по старинке: однократно, то показатель совпадения составит 99.906% - хорошее равенство до 3-х девяток)

5. Свежий взгляд

   В 1999 г. Д.Кирсанов написал утилиту Fresh Eye для поиска в тексте фонетически и морфологически схожих слов, стоящих "слишком близко"  (http://www.kirsanov.com/fresheye).

   Наткнувшись случайно на нее в Интернете, я решил посмотреть, как это все работает. Начал с очевидного:

  Карл украл у Клары кораллы, Клара украла у Карла кларнет.

   Как ни менял в настройках т.н. "порог чувствительности" - ответ получался один: проверено 1, найдено 0. А в стихах про старушку и поэта (при пороге чувствительности, принятом по умолчанию), отыскалось лишь 2 повтора: "маслом масляным" и "рифмы рифмовал". Ну и пусть... Одобрения заслуживает сама идея анализа текста на повторы, за каковую и спасибо.

   Первым делом, необходим метод приблизительного сравнения слов. Можем же мы прочесть следующий текст:

  По рзелульаттам илссеовадний одонго анлигйсокго унвиертисета, не иеемт занчнеия, вкокам пряокде рсапожолены бкувы в солве. Галвоне, чотбы преавя и пслоендяя бквуы блыи на мсете. Осатьлыне бкувы мгоут селдовтаь в плоонм бсепордяке, все-рвано ткест чтаитсея без побрелм. Пичрионй эгото ялвятеся то, что мы не чиатем кдаужю бкуву по отдльенотси, а все солво цликеом.

   Попробуем формализовать интуитивный процесс, благодаря которому мы поняли, что здесь написано. Определим коэффициент "похожести" двух слов, подсчитав, сколько символов из первого слова содержаться во втором. Но такой алгоритм не способен различать анаграммы и перевертыши. Например, слова "колесо", "оселок", "окосел" будут восприняты, как одинаковые.

   Усложним процедуру, добавив проверку на присутствие 2-буквенных подстрок первого слова во втором. Потом 3-х буквенных... не пора ли остановиться? Средняя длина слова в русском языке - 6 букв. Хотите верьте, хотите нет, но перебором 3-х буквенных подстрок (ровно половина от 6) можно ограничиться. Число успешных поисков поделим на общее число подстрок - это и будет показатель сходства.

   Примеры:

   КОЛЕСО, ОКОСЕЛ. По отдельным буквам 6 попаданий из 6. 2-х буквенные: КО, ОЛ, ЛЕ, ЕС, СО - 1 из 5. 3-х буквенные: КОЛ, ОЛЕ, ЛЕС, ЕСО - 0 из 4. Результат: (6+1+0)/(6+5+4) = 0.467.

   АРБУЗ, ТАРАКАН. 2 из 5; 1 из 4; 0 из 3. Результат: 3/12 = 0.250.

   ТАРАКАН, АРБУЗ. 4 из 7; 1 из 6; 0 из 5. Результат: 5/18 = 0.278.

   Видим, что "сходство", вообще говоря, не транзитивно. Поменяв порядок сравнения, можно получить иной результат. Из двух ответов возьмем больший, только и всего.

   Похожий алгоритм предложен в 1998 г. Владимиром Кива и называется "алгоритм нечеткого сравнения строк". Транзитивность операции сравнения достигается одновременным подсчетом подстрок одинаковой длины первого слова во втором и второго в первом. Такой вариант обладает меньшей чувствительностью. Например: (AB, ABCDE) - у меня будет 1 (т.к. одна строка целиком содержится в другой), а по Кива - всего 0.4. И тот и другой подход по своему логичны. Мой алгоритм видит рифмы. Однако, во избежание массы ложных срабатываний, надо сразу исключить сравнение со словами, короче 3 букв (это, в основном, предлоги, союзы, междометия), а среди 3-х буквенных выкинуть из рассмотрения наиболее частые. (Таких, покрывающих 90% всех "трехбуквенников" в любом тексте - в русском языке чуть больше полусотни). 

   Стихотворный эпиграф в начале главы расцвечен синим и красным - "масляные масла", найденные при коэффициенте "сходства" >= 0.5. Конечно, повторы в художественных текстах - совсем не обязательно признак неопытности автора. Зачастую они привносят в произведение дополнительную смысловую и эмоциональную составляющую. Поэтому, не станем объявлять графоманом великого писателя земли русской.

В это время в гостиную вошло новое лицо. Новое лицо это был молодой князь Андрей

Болконский, муж  маленькой княгини. Князь Болконский был  небольшого роста, весьма

красивый  молодой  человек  с  определенными  и сухими чертами. Все  в его фигуре,

начиная от  усталого, скучающего  взгляда  до  тихого  мерного  шага, представляло

самую резкую противоположность с его маленькою, оживленною женой. Ему, видимо, все

бывшие в гостиной не только были знакомы, но уж надоели ему так, что и смотреть на

них и слушать их ему было очень скучно. Из  всех же прискучивших ему лиц, лицо его

хорошенькой жены, казалось, больше всех ему надоело.

6. "Глокая куздра", "четыре четырки" и Питон

   Demagog умеет говорить и анализировать текст на повторы и созвучия. А хорошо бы в придачу иметь (пусть даже простейший) контроль орфографии. Ведь так нередки в текстах АшиПки и оЧеПЯтки...

   Разумеется, можно подключаться к MS Word средствами OLE Automation. Уж в Ворде-то проверка орфографии реализована, так пусть он и делает всю работу за нас. Правда, возникнут сложности с разными версиями Ворда. Что 2003-му здорОво, то 97-му - смерть... Да и странно это - превращать изящную в своей компактности программу в заурядный придаток при некоем монстре. Есть ли другие пути?

   Одна идея, словно призрак коммунизма, бродит среди лингвистически настроенных умов, начиная с середины прошлого века. Только-только появились первые ЭВМ... Это означало: электронная вычислительная машина, слово "компьютер" еще не придумали, но придумали "кибернетику" - буржуазную лженауку для запугивания рабочего класса . Тут-то кое-кого и осенило.

   Суть гениального (не знаю, нужны ли в этом слове кавычки) озарения такова. Количество 2-буквенных сочетаний в русском алфавите: 33 x 33 = 1089. А допустимых из них: раз-два и обчелся. Можете самостоятельно составить квадратную табличку и вписать в нее все "разрешенные" комбинации. Простейший алгоритм, считай, готов.

   Безумие этой идеи в том, что минимальный набор проверочных комбинаций охватывает все потенциально возможные слова русского языка! Становится ненужным огромный словарь-тезаурс, где каждое слово надо указывать во всех падежах, наклонениях, спряжениях и т.п. (Ведь даже тезаурус системы Ispell на 850 тыс. словоформ, на практике оказывается не вполне достаточным).

   Но... (спускаясь с небес на землю), мы скоро заметим, что из 2-буквенных комбинаций можно понаделать еще больше невозможных, несуществующих слов. Все они, естественно, были бы при проверке признаны "правильными". Глокая куздра штеко будланула бокра и курдячит бокренка - здесь только допустимые пары букв!

   Очевидно, необходимо ужесточить схему, проверяя на допустимость не 2-х буквенные, а 3-буквенные сочетания. Тогда для составления проверочного списка придется прошерстить уже 33 x 33 x 33 = 35937 троек в поисках правильных. Еще более надежным решением будет проверка "четырок". Например, в слове "демагог" - четыре четырки: дема/емаг/маго/агог. Все они - допустимые. Из общего числа в 1185921 - таких найдется тысяч 35-40. Проверяя все четырки заданного слова на допустимость, делаем вывод о верном или  неверном его написании. Все упомянутые в Интернета изыски по бессловарной проверке орфографии на этом исчерпываются.

   Поразмыслив, можно найти примеры, когда и такая схема слишком уж всеобъемлюща. Блинны. Это слово не опознается, как ошибочное, т.к. 4-ка линн - допустимая. (Длинный). Песьмо - из той же оперы - песь - спесь - песьими. Надо что-то делать...

   Попробуем перейти к проверке 5-ти буквенных сочетаний. Весело, дружно, хватаем бревнышко и несем... Что нам стоит среди 39135399 (39 миллионов с хвостиком) вариантов отыскать "правильные пятерки"?

   Скрипт на языке сверхвысокого уровня Python, за считанные минуты решающий эту задачу.

   Говоря словами О.Генри: он "прост, как молодой редис и незатейлив, как грабли". Написание и отладка первого варианта заняли 1 час. Все потому, что Питон избавляет программиста от массы рутинной работы. Использовалась версия языка 2.4.4.

   С помощью этого скрипта обрабатывается ОЧЕНЬ большой текст.

   Это - основное требование к тексту, чтобы он был громадным.

   Во-вторых, он не должен содержать знаков переноса на концах строк.

   В-третьих, он должен быть общехудожественным, а не специализированным.

   Я составлял "большой текст" по частям, "склеивая" из отдельных файлов. В одном из них потребовалось удалить все знаки переноса - здесь помог Demagog. В итоговый bigtext.txt, размером 15 Мб, вошло с дюжину романов. Названий не привожу, произведения отбирались не по величию авторов, а по величине текста. Так быстрее получался должный объем "словесного материала". Разумеется, я пытался придерживаться принципа "общехудожественности". Никаких физико-математико-философских работ с заумно-языколомной терминологией! Литературные произведения только вменяемых авторов... Мы же собираемся проверять орфографию русского языка.

   Оставалось набрать командную строку: python orfo.py bigtext.txt ignore.txt и через несколько минут я получил требуемый список "пятерок".

   Насколько он полон? Вот как менялся размер списка с ростом объема текста:

 

   Каждая очередная порция текста добавляла все меньше и меньше нового. Вдалеке просматривается некий предел?  Пополнять bigtext.txt новыми шедеврами мне надоело, да и обработка его скриптом стала занимать аж целых 3 минуты - что же будет дальше? Решил пойти на хитрость. Нашел в Интернете частотный словарь русского языка на 69307 наиболее употребительных словоформ и скормил скрипту. Вышло, круглым счетом, 60 тыс. пятерок - так сказать, необходимый минимум. Добавил сей чудный словарь в bigtext.txt... На выходе - 103 тыс. - прирост совсем уже невеликий. Тот же фокус можно проделать с тезаурусом системы Ispell. Из 850 тыс. наивозможнейших словоформ выходит 150 тыс. пятерок. Но тезаурусы Ispell составляются автоматически по принципу добавления к корням слов всех возможных приставок и окончаний, и содержат много маловероятных, практически неупотребляемых вариантов. Подучилось - нечто среднего рода повысило свои знания в некоторой области. А ведь, скорее всего, "подучилось" - это неверное написание слова "получилось"! Вот так: сильно хорошо - тоже плохо. От чрезмерного расширения списка эффективность отлова ошибок и опечаток начинает снижаться! Практика показывает, что 100 тыс. пятерок, полученных обработкой текстов общеупотребительной лексики - вполне достаточно.

   Второй параметр скрипта - это список "запрещенных" слов. В любом, даже весьма тщательно составленном тексте, возможны опечатки. Чтобы их выявить, совсем не нужно выверять текст заранее. Первый запуск: python orfo.py bigtext.txt даст черновой вариант списка, в котором для каждой пятерки указано, сколько раз она встретилась в тексте. Для пятерок, встретившихся в тексте не более 3 раз, указываются также слова, их породившие. Именно среди них беглый просмотр позволяет выявить опечатки, жаргон и пр. Я заносил в черный список только явные ошибки, церковнославянизмы и англосаксонизмы. А также фантастические / фэнтезийные термины и мат.

   Повторный запуск, уже с указанием второго параметра, даст очищенный список пятерок. Сокращение небольшое, но заметное - несколько тысяч.

   Помимо этого, скрипт изначально игнорирует все слова, написанные большими буквами, или начинающиеся с таковой. Тем самым отметаются имена собственные и географические названия. Жаль, конечно, казака Дормидонта Семижопенко из ст. Старонижнемухосранской, но зато избавляемся от всяческих Хзкхкхрх Рхрч, Жугдэрдэмидийн Гуррагча, Ыгыатта, Таллинн, Кыргызстан и т.д. и т.п. и пр. и пр.  Пропускаются также слова с цифрами, нерусскими буквами и написанные через дефис. Буква ё всюду заменяется на е.

   Считаются недопустимыми слова, содержащие 3 одинаковых буквы подряд, за исключением фрагмента "ошеее". Слова со следующими друг за другом парами одинаковых букв также не берутся во внимание, если только это не пары: еенн, ллее, ллии, ллоо, ннее, ннюю, нняя, ссее, ссии. Теперь не страшны разные Уурраааа!! Аррггх-брруумм! Тра-татата!! и тому подобные гремящие комбинации, которыми некоторые авторы "оживляют" повествование. Шутки шутками, но удается избавиться от изрядного количества мусора в обрабатываемом тексте.

   В полученной орфотаблице для каждой пятерки указывается также ее код. 100x - пятерка встречается только в начале слова; 010x - только в середине; 001x - только в конце. Возможные комбинации: 110x, 011x, 101x, 111x. x = 1 для буквосочетаний, которые могут быть самостоятельными словами и 0 в противном случае. Очевидно, что слова короче 5 букв имеют код: 0001.

   Кроме основной орфотаблицы, создается краткая. В ней присутствуют только пятерки и их коды, причем коды тоже записаны в сжатом виде. Четырехзначное двоичное число экономнее представлять в виде однозначного 16-ричного. Размер файла орфотаблицы тем самым уменьшается на треть.

   Посмотрим,как это работает. Красавчег = краса / расав /савче / авчег. Найдено в орфотаблице: краса 1111. 5-ка может находится в начале слова; расав 0100 - только в середине, она там и находится; савче - НЕТ В ТАБЛИЦЕ. ОШИБКА.  Нарей мне стакан воды! В таблице есть: нарей 0110 - может находится только в середине или конце слова (канарейка, фонарей). ОШИБКА.

   Нажатием клавиши F4 проверяется выделенный текст. При формировании орфотаблицы я старался не пропускать в обработку составные слова, потому что на "стыках" входящих в них "простых" слов могут получаться нехарактерные, редкие буквосочетания, которые лишь зря замусорят таблицу. Но составное слово можно проверить, по очереди выделяя отдельные его части; или разделив их пробелами или дефисами и, затем, выделив все целиком.

  ПРЕДУПРЕЖДЕНИЕ для энтузиастов, которым захочется переделать скрипт, чтобы проверять 6-ти (и более) буквенные сочетания. Проверка станет работать хуже и чем дальше, тем хужЕе . Все потому, что орфотаблица начнет постепенно превращаться в тезаурус, разбухать в размерах, ведь в нее заведомо потребуется включать все словоформы не длиннее n, где n = 6, 7, 8...

   Кстати, n идущих подряд букв в слове называются n-граммой, этим термином и будем дальше пользоваться. В нашем случае n = 5.

   Еще раз подчеркну принципиальное отличие n-граммного метода проверки орфографии от словарного. Например, в bigtext.txt, использованном для построения орфотаблицы, и в помине не было вот этих слов, которые MS Word в панике подчеркнул красным:

    Интуитивно эти слова вполне понятны и кажутся написанными правильно! В определенном смысле это так и есть. Все содержащиеся в них 5-граммы, получены обработкой других слов из bigtext.txt и являются допустимыми. И для n-граммного метода вышеприведенная фраза - верна. Но попробуйте написать: полнавироятная, нипонятица, злоупотребительстуйте, наиперемурденностью... Эти слова (опять же, в полном согласии с нашей интуицией!) будут отбракованы.

   Создается впечатление, что n-граммному методу присущ своеобразный "интеллект". Конечно, даже при n=5 он пропускает, как якобы верные, несуществующие слова. Но... они выглядят довольно естественно, укладываются в рамки статистических закономерностей языка.

   В общем и целом, метод уверенно различает тексты, написанные с ошибками и без.

   Стихи А.Матюшкина-Герке в эпиграфе этой главы расцвечены красным - слова которые и MS Word и Demagog дружно объявили ошибочными и синим - слова, которые только Word счел неправильными. Вполне удовлетворительно;  как и ожидалось, орфотаблица из 105 тыс. элементов - достаточно полна.

   Это - обычный текстовый файл, даже не отсортированный по алфавиту, ибо для Demagog'a порядок следования элементов в орфотаблице безразличен.

   Содержимое орфотаблицы можно изменять. Но не надо усердствовать, засоряя ее именами собственными и географическими названиями. Они, как правило, не являются осмысленными словами и не подчиняются языковым законам. (Тверьуниверсалбанк. Каково?)

   А удаляя какую-нибудь "нехорошую" словоформу, необходимо помнить, что при этом удаляются составляющие ее 5-граммы. В их числе могут оказаться и нужные, правильные, порожденные другими, вполне нормальными словами. Чтобы "возместить потери", придется некоторые слова вносить в орфотаблицу заново. Отсюда правило: если необходимо одно добавить, а другое удалить, то сперва надо выполнить удаление!

   Когда выполнена проверка орфографии (хоть маленького фрагмента, хоть всего текста - это занимает секунды, то в окне "Статистика" появится список найденных ошибочных слов, отсортированный по алфавиту. При этом слова, начинающиеся с большой буквы, помещаются в начале списка и отсортированы отдельно.

   Кстати, еще о подмеченной нами "разумности" этого необычного, статистического по своей природе алгоритма. Великий писатель А.И.Солженицын составил т.н. "Русский словарь языкового расширения" (М. Русский путь, 2000), о котором многие лингвисты отозвались крайне отрицательно. Вот короткий рассказик, содержащий почти только одни слова из "Расширения".

 

Растопыря, или необиходная баба

Ерыжливый дурносоп верстан, достодолжный жегнуть шершавку, любонеистово

хайлил жиротопное шурьё. Зябкоподжимчивый валява остробучил, жубря:

"Хунды-мунды, вахлюй! Отрезно ты фефёлу дочул, иззаплаченный дурандай!"

"Да, жемнул я мормотень! – отжегнулся дурносоп верстан, - "а тебе вот

маламзя с расщепырей!" "Да, ить здеся одна жирным-жирнешенька шеврюжка!" -

верстанулся прощепырник. "А ты чо выхайлился, захухряев оторвяжник?" –

утомчился зябкоподжимчивый дурносоп. "Эвося! – защепырил прожубрястый

валявка, - "я то – чуфырь! А ёна ведь неутомчивая жемжурка. Коли ей

баларыст зажирнить в шабры, так расщепырится захухрястой профефёлой!"

Тутока верстаный дурносопяк дочуял страстоубийственный хлясь. Отрезный

захухряй прожемнул поконец и ущепырил растопырю.

   Можете сами скормить сей текст Demagog'у, выделить все, затем F4 и полюбоваться результатом. Никаких других доказательств, полагаю, не нужно. Ладно, там MS Word... Если уж и Demagog полностью отвергает это, то "слова" из "Расширения" и, в самом деле, не отвечают строю русского языка.

7. "Экранная лупа" или путями первопроходимцев

   Однажды Гарри Поттер забыл где-то свои очки. А надо было срочно прочесть на компьютере кой-какие магические тексты... Что делать?! Близоруко щурясь, юный волшебник нашел на рабочем столе Windows иконку программы Demagog. Когда она загрузилась, Гарри нажал на клавиатуре комбинацию Ctrl+F1... Чтение и навигация на рабочем столе и в окнах программ больше не являлись проблемой.

    

   Что положено в основу? Дополнительная форма с компонентом Timer, с ним связана процедура копирования части экрана и рисования ее на компоненте Image в этой же форме. Первая заповедь программиста: не торопись прошибать лбом стену, а проверь, может ее прошибли до тебя? Поиск в Сети: "Delphi. Экранная лупа" приводит к целому семейству открытых проектов, восходящих к утилите gZoom, которую когда-то написал Zarko Gadjic. Остальные дружно шли по его следам, поскальзываясь, один за другим, на брошенной Zarko арбузной корке.

   В результате все эти изделия через 5-10 мин. после запуска внезапно, с предсмертным вскриком: "Canvas does not allow drawing" отбрасывают копыта. "Недолго музыка играла, недолго фраер танцевал..." Особенно забавно это выглядит с включенным Диспетчером задач - видно, как неумолимо, с каждой минутой, растет потребление памяти. На каком-то дельфийском форуме очередной "разработчик" экранной лупы в отчаянии вопрошал: "В чем дело? Ведь холст освобожден командой C.Free ???"
   Где зарыта собака, я нашел довольно быстро. А потом обнаружил в Сети самим Zarko исправленный вариант. Кому интересно, в чем дело, вот ключевой фрагмент:

hDesktop := GetDesktopWindow;

try

C.Handle := GetDC(hDesktop);

Image.Canvas.CopyRect(Drect,C,Srect);

finally

ReleaseDC(hDesktop,C.Handle);  {!!!}

C.Free;

end;

   "Экранная лупа" в Demagog'e - это отдельное, перемещаемое и изменяемое в размере окно, в котором отображаются в увеличенном виде окрестности мышиного курсора. Перекрестие прицела соответствует положению указателя мыши на экране монитора. Если лупа активна (иначе - кликаем по ее заголовку), то крутя колесико мыши, мы можем изменять степень увеличения от 2 до 16 раз.

8. "Говорит и показывает..."

   Похожая история вышла и с моими принципами. Нет-нет, дело не во внезапном приступе жадности; Demagog как был, так и останется бесплатной программой. Но, в некотором смысле, мои убеждения оказались на поверку такими же гибкими, как взгляды некоего партийного босса. "Если без чего-то можно обойтись, то оно в программу включено не будет" - до сих пор я строго придерживался этого правила.

   Голосовые движки понимают только обычный текст, отнюдь не документы MS Word или электронные книги в формате Fiction book. После преобразования оных в просто текст, все картинки, если таковые в исходных документах имелись, будут потеряны. "Это есть факт", всем известный и давно привычный. Жалко, но как-нибудь обойдемся.  

   Часто ли в современной "бумажной" книжке увидишь хоть одну иллюстрацию? Лишние расходы и хлопоты издателям ни к чему. "Пипл схавает" и так.

   Но, все же... все же... Делать ничего не будем, а просто так посидим, подумаем. За компьютером. И Delphi запустим, по привычке.

  Лишь на первый взгляд извлечение рисунков из doc, docx, rtf-файла представляется неразрешимой загадкой. Что будет, если средствами OLE Automation заставить MS Word сохранить некий документ, пусть это будет "Алиса в стране чудес.doc", как веб-страницу "Алиса в стране чудес.htm", и сразу ее удалить?

   Правильно. Приз в студию. Останется папка с именем "Алиса в стране чудес.files", содержащая все рисунки из первоначального документа. (О том, что для ранних версий Word этот фокус не работает, культурно умолчим).

   А что если в Demagog загрузить именно веб-страницу, когда-то выкачанную нами из Сети? Вспомним, что при сохранении веб-страницы, каталог "имя-страницы.files" создается автоматически. Правда, не всегда - иные веб-страницы порождают каталоги с именем: "имя-веб-страницы_files". Программа должна проверять оба варианта названия "каталога-галереи".

   Итак, с вордовскими текстами и веб-страницами разобрались. Займемся электронными книгами формата fb2 - заурядными XML-документами. Картинки в них заданы блоками т.н. кода Base64. Например: <binary id="faraon.jpg" content-type="image/jpg">...код...</binary>. Вырезать эдакие подстроки и поместить их в список TStringList, ясное дело, раз плюнуть. Исходник функции Base64decode() возьмем в Сети.

   Запишем декодированные бинарные строки в файлы с соответствующими расширениями, поместив их, как нам уже привычно, в папку "что-то там такое.files". Видим, что полученные jpg и bmp-файлы компонентом Image отображаются правильно! А вот с форматом png Delphi не работает принципиально. Ну, не было такого формата в эпоху зарождения и взлета Delphi. Но и здесь дела обстоят не так уж плохо. В Сети лежит-дожидается, пока его скачают, компонент TPNGImage. Все содержимое архива копируем в папку нашего проекта  (естественно, без справки). В секцию uses проекта добавляем PngImage, и дело в шляпе. Теперь png-картинки грузятся без проблем, наравне с jpg и bmp. (Кстати, в Delphi 2009 TPNGImage уже включен, как стандартный).

   "Рисунки GIF забыли!" - возопил мой внутренний голос, но заткнулся, когда в секцию uses я дописал: GifImg. Больше ничего и не нужно. Ибо в Delphi 2007 уже имеется поддержка gif.

   Осталось решить, где лучше отображать картинку. Проще всего - справа от текста. При включенном режиме "Формат - Перенос по словам" текст и картинка совсем не мешают друг другу. На всякий случай, пусть нажатием Ctrl+K картинка скрывается / вновь показывается. Когда картинка скрыта - текст разворачивается на всю ширину окна. Для листания присобачим кнопки "взад-вперед" и, на всякий пожарный, "Удалить картинку" и "Удалить все". Дефолтные размеры окна у Demagog'a невелики и картинка будет похожа на большую почтовую марку, но это - дело поправимое. При изменении размеров окна программы, пропорционально поменяется размер картинки. Потихоньку, полегоньку... вот такая икебана:

Выйду на поле в мятых трусах коричневых,	"Позвольте мне сделать одну
Знаю в футболе пару финтов гарринчевых1.	вещь для вас очень ясной..."
На деревяшке выжгу тебя паяльником,
Скину рубашку, спрячусь под пододеяльником.	Ричарду Никсону однажды сказали:
I love you baby.	"Если не отучитесь повторять эту фразу
I just believe in what you say.	по двадцать раз за одно выступление,
Yes. It is table. And it was table yesterday.	то никогда не станете президентом!"
I love you baby. Baby, you love my "имидж".
O-o. I am crazy. I can speak English!
Пародия на песню А.Серова "Ты меня любишь"
1Гарринча - знаменитый бразильский футболист

Царь Александр III встретил на прогулке

спешащего по делам рабочего.

- Куда идешь, дурак?

- В депу, Ваше величество!

- Дурак, "депо" - не склоняется!

- Перед Вашим величеством всё склоняется!

- Хм! Держи рубль... умник!

Легенда.