Браунівський корпус
![](http://upload.wikimedia.org/wikipedia/commons/thumb/2/27/Metcalf_Research_Laboratory_%28Brown%29_05.jpg/220px-Metcalf_Research_Laboratory_%28Brown%29_05.jpg)
Стандартизований корпус сучасної американської англійської мови Браунського університету (або Браунівський корпус ) — це електронне зібрання текстів американського варіанту англійської мови, перший великий структурований корпус різних жанрів. Цей корпус вперше встановив планку для наукового вивчення частоти вживання та розподілу категорій слів у повсякденному мовленні. Укладений Генрі Кучерою та В. Нельсоном Френсісом з Браунського університету в Род-Айленді. Це загальномовний корпус, що містить 500 текстів англійської мови загальною кількістю приблизно мільйон слововживань, зібраних з робіт, опублікованих у Сполучених Штатах у 1961 році.
Історія
У 1967 році Кучера і Френсіс оприлюднили свою знакову працю «Обчислювальний аналіз сучасної американської англійської мови», яка стала майбутньою статистичною базою для створення Браунівського корпусу. [1]
Корпус Брауна представляв собою ретельно зібрану добірку поточної американської англійської мови, що налічувала близько 1 мільйона слів, взятих із найрізноманітніших джерел. Кучера і Френсіс проводили на його основі різнобічні обчислювальні аналізи, оптимізувавши цей проєкт, поєднавши елементи лінгвістики, психології, статистики та соціології. Він дуже широко використовувався в комп’ютерній лінгвістиці і протягом багатьох років був одним з найбільш цитованих ресурсів у цій галузі. [2]
Невдовзі після публікації першого лексикостатистичного аналізу бостонський видавець Houghton-Mifflin звернувся до Кучери, щоб надати базу цитат на мільйон слів для свого нового «Словника Американської Спадщини». Цей новаторський новий словник, який вперше з’явився у 1969 році, був першим словником, який був укладений за допомогою розробок корпусної лінгвістики для частоти слів та іншої інформації.
На початку Браунівський корпус мав лише самі слововживання, а також ідентифікатор розташування їх у текстах. Протягом наступних кількох років почали застосовувалися теги частини мови. Програма додавання тегів Greene і Rubin (див. розділ «Позначення тегів у мові» ) значно допомогла в цьому, але високий рівень помилок означав, що потрібна була велика ручна коректура.
Розмічений Браунівський корпус використовував вибірку з приблизно 80 категорій, а також спеціальні індикатори для складених слів, скорочень, іншомовних запозичень та деяких інших явищ. Він став моделлю для багатьох пізніших корпусів, таких як Корпус Ланкастера-Осло-Бергена. (британська англійська з початку 1990-х) та Фрайбург-Браун Корпус американської англійської мови (FROWN) (американська англійська з початку 1990-х). [3] [4] Розмітка корпусу дозволяла робити набагато складніший статистичний аналіз, наприклад, роботу, запрограмовану Ендрю Макі та задокументовану в книгах з англійської граматики. [5]
Браунівський корпус фактично ознаменував початок активного розвитку корпусної лінгвістики. Він дозволяв робити певні статистичні висновки. Наприклад, цікавим результатом є те, що навіть для досить великих вибірок графік слів у порядку зменшення їх частоти вживання утворює гіперболу: частотність n-ого найбільш вживаного слова є константою, яка приблизно пропорційна до 1/n. Таким чином, «the» становить майже 7% Корпусу Брауна, «to» і «of» більше ніж ще 3% кожне. Таким чином, слово «the» займає близько 7% Браунівського корпусу, «to» та «of» понад 3% кожне. Проте майже половина загального наповнення текстів (приблизно 50000 слів) становить hapax legomena: слова, які зустрічаються лише один раз у корпусі. [6] Це відношення порядку та частотності досліджувалося Джорджем Кінгслі Зіпфом (наприклад, див. «Психобіологія мови») і відоме як закон Ципфа .
Незважаючи на те, що Корпус Брауна став першим у галузі корпусної лінгвістики, на даний момент інші типові корпуси (наприклад, Корпус сучасної американської англійської мови, Британський національний корпус або Міжнародний корпус англійської мови ) зазвичай є набагато більшими - близько 100 мільйонів слів.
Класифікація текстів
Корпус включав 500 текстів, опублікованих до 1961 року, розподілених приблизно порівну по 15 жанрам. Усі відібрані роботи були вперше опубліковані в 1961 році й написані носіями американської англійської мови.
Кожен зразок тексту починався з випадкової межі речення у статті чи іншому вибраному підрозділі й продовжувався до першої межі речення після 2000 слів. У невеликій кількості випадків неправильні підрахунки призвели до того, що тексти почали становити трохи менше 2000 слів.
Початкове введення даних здійснювалося на перфораційних машинах тільки великими літерами; великі літери позначалися зірочкою (*), а різні спеціальні елементи, такі як формули, також мали спеціальні кодові позначення.
Спочатку корпус (на 1961 рік) містив 1 014 312 слововживань із 15 текстових категорій:
- А. ПРЕСА: Репортаж (44 тексти)
- Політичний
- Спорт
- Суспільство
- Екстрені новини
- Фінансовий
- Культурний
- B. ПРЕСА: Редакційна стаття (27 текстів)
- Інституційний щоденник
- Особисте
- Листи до редакції
- C. ПРЕСА: Рецензії (17 текстів)
- театр
- книги
- музика
- танці
- D. РЕЛІГІЯ (17 текстів)
- Книги
- Періодичні видання
- Трактати
- E. НАВИЧКИ ТА ХОБІ (36 текстів)
- Книги
- Періодичні видання
- F. НАРОДНІ ПЕРЕКАЗИ (48 текстів)
- Книги
- Періодичні видання
- G. БЕЛЕТРИСТИКА - Біографія, мемуари тощо (75 текстів)
- Книги
- Періодичні видання
- H. ІНШЕ: Уряд і внутрішні органи США (30 текстів)
- Урядові документи
- Звіти фонду
- Галузева звітність
- Корпоративний каталог
- Галузь внутрішнього органу
- J. НАУКОВИЙ (80 текстів)
- Природничі науки
- Медицина
- Математика
- Соціальні та поведінкові науки
- Політологія, Право, Освіта
- Гуманітарні науки
- Технологія та техніка
- K. ХУДОЖНЯ ЛІТЕРАТУРА: Загальне (29 текстів)
- Романи
- Розповіді
- L. ХУДОЖНЯ ЛІТЕРАТУРА: Містика та детектив (24 тексти)
- Романи
- Розповіді
- M. ХУДОЖНЯ ЛІТЕРАТУРА: Наука (6 текстів)
- Романи
- Розповіді
- N. ХУДОЖНЯ ЛІТЕРАТУРА: Пригоди та вестерн (29 текстів)
- Романи
- Розповіді
- P. ХУДОЖНЯ ЛІТЕРАТУРА: Любовний роман та історія кохання (29 текстів)
- Романи
- Розповіді
- R. ГУМОР (9 текстів)
- Романи
- Нариси тощо.
Теги на позначення граматичних категорій
Тег | Визначення |
---|---|
CC | сполучник сурядності (and, or) |
CD | кількісні числівники (one, two і т.д.) |
CS | сполучник підрядності (if, although) |
EX | квантор існування (there is/are ...) |
JJ | прикметник |
JJA | прикметник + допоміжне слово |
JJC | прикметник, вища ступінь порівняння |
JJCC | прикметник + сполучник |
JJS | прикметник найвищого ступеня порівняння |
JJF | прикметник + жіночий рід |
JJM | прикметник + чоловічий рід |
NN | іменник однини або множини |
NNA | іменник + допоміжне слово |
NNC | іменник + сполучник |
NNS | іменник + множина |
NNP | власне ім'я або частина іменної фрази |
NNPC | власний ім'я + сполучник |
PRP | особовий займенник, однина |
PRPS | особовий займенник, множина |
PRP$ | присвійний займенник |
RB | прислівник |
RBR | прислівник у вищій ступені порівняння |
RBS | прислівник у найвищій ступені порівняння |
VB | дієслово, інфінітив |
VBA | дієслово + допоміжне дієслово, однина, теперішній час |
VBD | дієслово, минулий час |
VBG | дієслово, дієприкметник теперішнього часу/герундій |
VBN | дієслово, дієприкметник минулого часу |
VBZ | дієслово, 3 ос. однини теперішнього часу |
FW | іноземні слова |
PUN | усі розділові знаки |
Див. також
Джерела
- ↑ Francis, W. Nelson & Henry Kucera. 1967. Computational Analysis of Present-Day American English. Providence, RI: Brown University Press.
- ↑ Francis, W. Nelson & Henry Kucera. 1979. BROWN CORPUS MANUAL: Manual of Information to Accompany a Standard Corpus of Present-Day Edited American English for Use with Digital Computers. http://icame.uib.no/brown/bcm.html.
- ↑ Hundt, Marianne, Andrea Sand & Rainer Siemund. 1998. Manual of Information to Accompany the Freiburg-Brown Corpus of American English (FROWN). http://khnt.hit.uib.no/icame/manuals/frown/INDEX.HTM
- ↑ Leech, Geoffrey & Nicholas Smith. 2005. Extending the possibilities of corpus-based research on English in the twentieth century: A prequel to LOB and FLOB. ICAME Journal 29. 83–98.
- ↑ Winthrop Nelson Francis and Henry Kučera. 1983. Frequency Analysis of English Usage: Lexicon and Grammar, Houghton Mifflin.
- ↑ Kirsten Malmkjær, The Linguistics Encyclopedia, 2nd ed, Routledge, 2002, ISBN 0-415-22210-9, p. 87.