ТиПл №2Общее представление о языковых системах и автоматизированных системах обработки текстовой информации

Естественный язык в лингвистике и философии языка – это язык, используемый для общения людей ( в отличии от формальных языков и других типов языковых систем так же называемых языками в семиотике) и не созданный искусственно (в отличии от искусственных языков)

Словарь и грамматические правила естественного языка определяются практикой применения и не всегда бывают формально зафиксированы.

Функции языка – конструирование суждений, возможность определения смысла деятельных реакций, организации понятий, которые представляют собой некоторые формы, организующие пространство отношений коммуникаторов:

-коммуникативная;

-констатирующая (для нейтрального сообщения о факте);

-вопросительная ( для вопросов о факте) ;

-аппелятивная ( для побуждения к действию) ;

-экспрессивная (для выражения эмоций и настроения говорящего);

-контактоустанавливающая (для создания и поддержания контакта между собеседниками);

-метаязыковая ( для толкования языков фактов) ;

-эстетическая (для эстетического воздействия) ;

-функция индикатора принадлежности к определенной группе людей;

-информационная;

-познавательная;

-эмоциональная.

В настоящее время системность считается важнейшей характеристикой языка. Семиотическая сущность естественного языка состоит в установлении соответствия между универсумом значений и универсумом звучаний.

По основанию природы плана выражения в своей устной форме человеческий язык относится к слуховым знаковым системам, а в письменной - к зрительным.

По типу генезиса естественный язык относят к культурным системам, таким образом, он противопоставляется как природным, так и искусственным знаковым системам. Для человеческого языка как знаковой системы характерно сочетание черт как естественных, так и искусственных знаковых систем.

Система естественного языка относится к многоуровневым системам, т.к. состоит из качественно разных элементов – фонем, морфем, слов, предложений, отношения между которыми сложны и многогранны.

Что касается структурной сложности естественного языка, то язык называют самой сложной из знаковых систем.

По структурному основанию различают также детерминированные и вероятные семиотические системы. Естественный язык принадлежит к вероятностным системам, в которых порядок следования элементов не является жестким, а носит вероятный характер.

Семиотические системы разделяют также на динамические, подвижные и статические, неподвижные. Элементы динамических систем меняют свое положение по отношению друг к другу, тогда как состояние элементов в статистических системах неподвижно, устойчиво. Естественный язык относят к динамическим системам, хотя в нем присутствуют и статистические признаки.

Еще одной структурной характеристикой знаковых систем является их полнота. Полную систему можно определить как систему со знаками, представляющими все теоретически возможные комбинации определенной длины из элементов заданного множества. Соответственно, неполную систему можно охарактеризовать как обладающую определенной степенью избыточности систему, в которой для выражения знаков используются не все из возможных комбинаций заданных элементов. Естественный язык является неполной системой, обладающей высокой степенью избыточности.

Различия между системами знаков в их способности меняться делают возможным их классификацию на открытые и закрытые системы. Открытые системы в процессе своего функционирования могут включать в себя новые знаки и характеризуются более высокой адаптивностью по сравнения с закрытыми системами, не способными к изменению. Способность изменяться присуща и человеческому языку.

Согласно В.В.Налимову, естественный язык занимает срединное положение между «мягкими» и «жесткими» системами. К мягким системам относятся неоднозначно кодирующие и неоднозначно интерпретируемые знаковые системы, например, язык музыки, к жестким - язык научных символов.

К свойствам естественного языка относят следующие:

• Неограниченная семантическая мощность – принципиальная безграничность ноэтического поля языка, способность к передаче информации относительно любой области наблюдаемых и воображаемых фактов;

• Эволютивность – неограниченная способность к бесконечному развитию и модификациям;

• Манифестируемость в речи – проявление языка в виде речи, понимаемой как конкретное говорение, протекающее во времени и облеченное в звуковую или письменную форму;

• Этничность – неотъемлемая и двусторонняя связь языка с этносом.

Существенным свойством языка является его двойственность, находящая свое выражение в существовании следующих языковых антиномий:

• Антиномия объективного и субъективного в языке;

• Антиномия языка как деятельности и как продукта деятельности;

• Антиномия устойчивости и изменчивости в языке;

• Антиномия идеального и материального характера языка;

• Антиномия онтологического и гносеологического характера языка;

• Антиномия континуального и дискретного характера языка;

• Антиномия языка как явления природы и артефакта;

• Антиномия индивидуального и коллективного в языке.

Значительный рост объемов текстовой информации, используемой в строительстве обуславливает повышенный интерес к разработке систем, позволяющих автоматизировать процесс ее обработки и анализа. Автоматизированные системы, решающие подобные задачи, относятся к классу интеллектуальных. Их анализ позволил выявить следующие особенности:

• Наработки в области проектирования подобных систем в строительстве отсутствуют;

• Из-за высокой стоимости программного обеспечения и сложности требуемой лингвистической технологии, их разработка в других предметных областях носит фрагментарный характер и ограничивается простыми и дешевыми решениями в ущерб качеству и эффективности;

• Из-за особенностей русского языка аналогичные иностранные системы, разработанные для других предметных областей удовлетворительно работающие с английскими текстами, не позволяют обеспечить требуемый уровень качества при работе с текстами на русском языке.

Итак, лингвистическое обеспечение автоматизированных систем - это совокупность средств, позволяющих осуществлять компьютеризацию языковой деятельности, сопровождающей ( в явной или скрытой форме) практически любую интеллектуальную деятельность человека. С технологической и системной точек зрения речь идет о создании того или иного типа автоматизированной системы обработки текста (АСОТ) – некоторого процессора, на входе и на выходе которого присутствует текстовая информация на естественном языке. Типы АСОТ многообразны и могут быть нацелены на моделирование различных языковых процессов, как диалоговое взаимодействие, сжатие информации, реферирование текста, логическая обработка содержания, перевод на другой естественный язык. С собственно лингвистической точки зрения процессы, осуществляемые в машине при решении подобных задач, сводятся к перезаписи информации на тех или иных (естественных и искусственных) языках. Внешние критерии, которыми руководствуются создатели АСОТ, подводятся под общую формулу «оптимизация общения человека и машины». Именно эту задачу решает такая комплексная научная дисциплина, как компьютерная лингвистика и ее наиболее существенная часть – вычислительная семантика. Прикладные результаты, получаемые в данной области, -это семантические алгоритмы и семантические метаязыки, т.е. модели процессов (извлечения информации из текста и воплощения ее в текст) и соответствующих языков представления знаний ( на которых хранится и перерабатывается информация, извлеченная из текс