43. Количественные методы изучения языка. Частотные словари.
КОЛИЧЕСТВЕННЫЕ МЕТОДЫ в языкознании — использование подсчетов и измерений при изучении ялыка и речи. В той мере, в какой К. м. опираются на матем. статистику, они могут быть названы статистич. методами. Как и все магем. методы, К. м. могут применяться к объектам самой разной природы, поэтому в яз-зиа-нии они используются для анализа единиц любого уровня. Во ми. сферах яз-зиания применение К. м. ничем не отличается от применения их в др. науках. Напр., экспериментальная (инструментальная) фонетика использует тот же матем. аппарат, что и физика. Применение выборочных методов статистики в из-знании аналогично их применению в других естественных и социальных науках. В психолингвистике н социолингвистике, где обрабатываются мнения информантов, применяются те же методы конструирования шкал, что и в психологии и социологии. Вместе с тем в яз-знании возникают специфич. аспекты применения К. м., связанные с противопоставлением языка и речи. Непосредственно к системе языка К. м. применяются крайне редко и ограничиваются гл. обр. лексикой (количеств, изучение этимологич. состава словаря, процессов словообразования, распространенности разных типов полисемии). К. м. используются также в сравнит.-ист. яз-зиании. Осн. объектом применения К. м. обычно является речь, точнее, текст. Количеств, показатели дают определ. информацию о самих текстах. На том факте, что различия между языковыми стилями и жанрами носят преим. статистич. характер, основана г. наз. статистич. стилистика. Возможность через лексику количественно отражать тематич. отнесенность текстов изыка важна для нек-рых приложений лингвистики (напр., н информатике). Широкое применение К. м. для описания и классификации текстов (напр., при атрибуции текстов, в частности при установлении авторства анонимных или псевдоиимиых текстов) связано с тем, что большинство двусторонних единиц и конструкций изыка могут служить основой для различения текстов ил» для их квалификации. С др. стороны, К. м., примененные к текстам, открывают путь к изучению самого изыка, поскольку сегменты текстов, являющиеся объектами подсчетов, соотнесены с единицами языка. К. м. позволяют количественно описывать поведение разл. языковых единиц (фонем, букв, морфем, слов) в тексте: частоту употребления единиц, их распределение в текстах разного жанра, сочетаемость с др. единицами и т. п. Одновременно накапливается обобщенная количеств, информация о классах единиц, о языковых конструкциях (напр., данные о средней длине слова или предложения, о частоте употребления к.-л. грамматич. форм в тех или иных синтаксич. функциях и т. п.). Такай информация углубляет описание единил языка. Напр., простая констатации наличия форм им. падежа ед. числа личных местоимений в англ., рус. и лат. языках недостаточна для выявлении типологич. различий, если не учитывать количеств, различия в текстовом поведении соотв. единиц: почти абсолютная необходимость местоимения при глаголе в англ. яз., его обычность — в рус. яз. н редкость и стилистич. маркированность — в лат. яз. Т. о., создается перспектива превращения обычной структурной модели языка в структурно-вероятностную модель, в к-рой учитываются результаты статистич. анализа текстов (в этой модели единицы языка обладают «весом», измеряемыми оказываются языковые противопоставления и связи). Структурно-вероятностная модель отличается -.большей реалистичностью, особенно эффективна оиа в диахронич. и типологич. исследованиях (напр., при сличении и обработке исторически после-доват. текстов). Соединение статистич. методов с идеями дистрибутивного анализа легло в основу дистрибутивно-статист и ч. анализа, описывающего структуру языка и структуру текста на основе очень ограниченной исходной информации (напр., принимая за данное письм. текст без к.-л. сведений о его семантике). В этом случае единицы языка и их отношения выделяются в процессе этого анализа, а не используются как готовый материал. К. м. в яз-знании предполагают вссле-дование обширных массивов текстов, поэтому для их применения большое значение приобретают средства доступа к текстовым данным, допускающие многократное к ним обращение. К таким средствам относятся базы данных, хранимые в ЭВМ, издания, подготовленные с помощью ЭВМ (частотные словари, конкордансы — словари, фиксирующие все контексты употребления слова, и т. п.). Создание машинных фондов нац. языков расширяет возможность изучения языка
Часто́тный слова́рь (или частотный список) — набор слов данного языка (или подъязыка) вместе с информацией о частоте их встречаемости. Словарь может быть отсортирован по частоте, по алфавиту (тогда для каждого слова будет указана его частота), по группам слов (например, первая тысяча наиболее частотных слов, за ней вторая и т. п.), по типичности (слова, частотные для большинства текстов), и т. д. Частотные списки используются для преподавания языка, создания новых словарей, приложений компьютерной лингвистики, исследований в области лингвистической типологии, и т. д.Содержание [убрать]
Обычно частотные словари строятся на основе корпусов текстов: берется набор текстов, представительный для языка в целом, для некоторой предметной области или данного автора (см. Частотный словарь Грибоедова) и из него извлекаются словоформы, леммы и части речи (последние извлекаются в случае, если корпус имеет морфологическую разметку).
Проблемы при создании частотных списков заключаются в:воспроизводимости (будут ли результаты идентичны на другом аналогичном корпусе),всплесках частоты отдельных слов (частота слова в одном тексте может повлиять на его позицию во частотном списке),
сложности определения позиции менее частотных слов, что не дает возможности ранжировать их рационально; например, слово белиберда входит в 20000 наиболее частотных слов, в то время, как слово хрюкнуть находится за пределами списка первых 40 тысяч.
Все эти проблемы связаны с тем, что со статистической точки зрения язык представляет собой большое количество редких событий (Закон Ципфа), в результате чего небольшое количество слов встречается очень часто, а подавляющее большинство слов имеют очень невысокую частоту. Частота слова и (самого частотного слова русского языка) примерно в 10 раз выше частоты слова о, которое в свою очередь встречается в 100 раз чаще таких обыденных слов как путешествие, старость или мода.
Частотные словари обеспечивают возможность сравнить два корпуса, чтобы определить слова, наиболее характерные для каждого из них. Для определения набора ключевых слов, отличающих один корпус от другого можно использовать разные статистические меры.
44. Социолингвистика, методы полевого исследования материала: анкетирование, интервьюирование. (Швейцер)
Социолингвистика (социальная лингвистика) - научная дисциплина, развивающаяся на стыке языкознания, социологии, социальной психологии и этнографии и изучающая широкий комплекс проблем, связанных с социальной природой языка, его общественными функциями, механизмом воздействия социальных факторов на язык и той ролью, которую играет язык в жизни общества. Некоторые из этих проблем (например, "язык и общество") рассматриваются и в рамках общего языкознания. Междисциплинарный статус социолингвистики находит выражение в используемом ею понятийном аппарате. Так, языковой коллектив, рассматриваемый в качестве исходного понятия социолингвистического анализа, определяется на основе как социальных, так и языковых признаков (наличие социального взаимодействия и единство языковых признаков). Основные операционные единицы социолингвистического исследования - социолингвистические переменные - характеризуются соотнесенностью, с одной стороны, с определенным уровнем языковой структуры (фонологическим, морфологическим, синтаксическим, лексико-семантическим), с другой - с варьированием социальной структуры или социальных ситуаций.
Одной из основных проблем, изучаемых социолингвистикой, является проблема социальной дифференциации языка на всех уровнях его структуры, и в частности характер взаимосвязей между языковыми и социальными структурами, которые многоаспектны и носят опосредованный характер. Структура социальной дифференциации языка многомерна и включает как стратификационную дифференциацию, обусловленную разнородностью социальной структуры, так и ситуативную дифференциацию, обусловленную многообразием социальных ситуаций.
С этой проблемой тесно связана проблема "язык и нация", изучая которую социолингвистика оперирует категорией национального языка, трактуемого в советском языкознании как социально-историческая категория, возникающая в условиях экономической и политической концентрации, характеризующей формирование наций.
Одним из ключевых понятий социолингвистики является понятие языковой ситуации, определяемой как совокупность форм существования языка (языков, региональных койне, территориальных и социальных диалектов), обслуживающих континуум общения в определенной этнической общности или административно-территориальном объединении. Выделяются 2 группы языковых ситуаций: экзоглоссные - совокупности различных языков, и эндоглоссные - совокупности подсистем одного языка. Экзоглоссные и эндоглоссные ситуации подразделяются на сбалансированные, если их компоненты функционально равнозначны, и несбалансированные, если их компоненты распределены по различным сферам общения и социальным группам.
Особое место уделяется в современной социолингвистике вопросу о связи и взаимодействии языка и культуры. Связи между языком и другими компонентами культуры носят двусторонний характер. Процессы соприкосновения разных культур находят отражение в лексических заимствованиях.
Одной из важных социолингвистических проблем является проблема социальных аспектов билингвизма (двуязычия) и диглоссии (взаимодействия различных социально противопоставленных друг другу подсистем одного языка). В условиях билингвизма два языка сосуществуют друг с другом в рамках одного коллектива, использующего эти языки в различных коммуникативных сферах в зависимости от социальной ситуации и других параметров коммуникативного акта. В условиях диглоссии наблюдаются сходные отношения между разными формами существования одного языка (литературным языком, койне, диалектами). Социолингвистика изучает также использование языка в коммуникативных целях, и в частности речевое поведение как процесс выбора оптимального варианта для построения социально корректного высказывания. При этом выявляется сам механизм отбора социально значимых вариантов, устанавливаются критерии, лежащие в основе выбора. Конечной целью анализа является выявление социальных норм, детерминирующих речевое поведение.
Особое место среди проблем социолингвистики занимает проблема языковой политики - совокупности мер, предпринимаемых государством, партией, классом, общественной группировкой для изменения или сохранения существующего функционального распределения языков или языковых подсистем, для введения новых или сохранения старых языковых норм.
Методы социолингвистики представляют собой синтез лингвистических и социологических процедур. Они подразделяются на методы полевого исследования и методы социолингвистического анализа языкового материала. Методы полевого исследования включают анкетирование, интервьюирование, непосредственное наблюдение. Опросники, используемые при заочном выборочном анкетировании, существенно отличаются от социологических анкет характером и числом вопросов, а также стратегией опроса, определяемой его задачей - получить сведения о речи информанта. Большое внимание уделяется составлению программы и разработке техники интервью. Для получения достоверных данных о влиянии ситуативных параметров на речь информантов тщательно контролируют языковую ситуацию, стимулируя либо естественно-непринужденную речь, либо сознательную ориентацию на престижный эталон. Наблюдения над речевой деятельностью информантов строятся таким образом, чтобы исключить или свести до минимума влияние наблюдателя на их речевое поведение. Иногда проводится т.н. включенное наблюдение, при котором наблюдатель выступает не в роли интервьюера, а в качестве одного из участников коммуникативного акта.
Для обработки данных полевых наблюдений используются разновидности корреляционного анализа. Для социолингвистики типичны корреляции, в которых в качестве независимых переменных выступают те или иные социальные параметры, стратификационные или ситуативные, а в качестве зависимых - языковые явления. Между коррелятами отмечается как полная, так и неполная функциональная зависимость. Зависимости описываются отдельно по каждому социальному разрезу и комментируются с содержательной (социолингвистической) стороны. Для этого используются табличные данные, графики зависимостей, математико-статистические методы.
Получили распространение некоторые методы моделирования социально обусловленной вариантности языка с помощью т.н. вариативных правил, соединяющих в себе элементы порождающей модели с той вероятностной моделью, которая лежит в основе статитистического анализа речевой деятельности. Для анализа социально детерминированной вариативности в ситуациях языкового континуума используется импликационная волновая модель, позволяющая установить социальную иерархию языковых вариаций и связать их синхронный анализ с анализом диахронным. В основе этой модели лежит гипотеза о волнообразном распространении языковых инноваций в пространственном и социальном измерениях.
Существуют также различные модели социально обусловленного речевого поведения, и в частности модели, в которых речевое поведение представлено в виде стратегии выбора социолингвистических переменных. Ограничивающие выбор социальные факторы моделируются в виде последовательных бинарных селекторов, позволяющих определить возможные исходы процесса выбора.
Обновы социолингвистических исследований в СССР были заложены в 20-30-х гг. 20 в. трудами советских ученых Л.П. Якубинского, В.В. Виноградова, Б.А. Ларина, В.М. Жирмунского, Р.О. Шор, М.В. Сергиевского, Е.Д. Поливанова, изучавших язык как общественное явление на основе марксистского понимания языка как общественного явления и историко-материалистических принципов анализа общественных отношений. Почву для современной социолингвистики подготовили также труды представителей социологического направления во французском языкознании (А. Мейе), внесшего существенный вклад в выявлении роли социальных факторов в развитии языка; работы американских этнолингвистов, развивавших идеи Ф. Боаса и Э. Сепира о связи языковых и социокультурных систем; труды представителей пражской лингвистической школы - В. Матезиуса, Б. Гавранека, Й. Вахека и др., продемонстрировавших связь языка с социальными процессами и социальную роль литературного языка; исследования немецких ученых, в особенности Т. Фрингса и созданной им лейпцигской школы, обосновавших социально-исторический подход к языку и необходимость включения социального аспекта в диалектологию; оригинальные работы в области языковой ситуации и культуры речи японской школы "языкового существования".
В 60-70-х гг. интерес к социологическим проблемам языка возрос в связи, с одной стороны, с потребностями современного общества, для которого проблемы языковой политики и другие практические аспекты социолигвистики приобретают все большую актуальность, и, с другой - с критикой структурной лингвистики, со стремлением преодолеть ограниченность имманентного подхода к языку и глубже проникнуть в природу языка как общественного явления.
Социолингвистические направления, разрабатываемые учеными разных стран, характеризуются различной методологической ориентацией. Некоторые направления зарубежной социолингвистики (например, в США) ориентируются на бихевиористскую модель речевого поведения, символико-интеракционистскую теорию социального взаимодействия, феноменологическую социологию. Социолингвистика, разрабатываемая в СССР и некоторых других странах, опирается прежде всего на исторический материализм и на частные теории марксистской социологии - теорию социальной структуры общества, теорию социальных систем, социологию личности и др.