Summary

##Report and plans

###Введение Что такое текст майнинг, что делает, и т.д.

http://archive.nbuv.gov.ua/portal/natural/Vkhdtu/2010_2/03_047.pdf

http://en.wikipedia.org/wiki/Natural_language_processing

http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_toolkits - тоже NLP

http://habrahabr.ru/post/170619/ - новье

http://www.cch.kcl.ac.uk/legacy/teaching/av1000/textanalysis/method.html

http://www.statsoft.com/textbook/text-mining/ - с видео

http://www.ou.edu/cls/online/lstd5913/pdf/rev.pdf

Текстовая аналитика (text mining)- процесс получения высококачественной информации из текста посредством использования...

http://en.wikipedia.org/wiki/Text_mining#Academic_applications

Область применения методов текстовой аналитики крайне широкая, а сами методы достаточно сложны, поэтому необходимо ограничить область нашей задачи.

Для чего я использую текст майнинг(мой use case)?

Подготовка единицы методического материала для обеспечения обучения связана с выполнением большого количества рутинных операций над неструктурированной информацией (текстом):

• ? поиск (см. http://www.youtube.com/watch?v=40QIW9Sr6Io),
• ?

Посредством применения методов текстовой аналитики предполагается:

2. выделение ключевых понятий и составление словарей данных понятий. Придумал как сделать фильтр для удаляения из контекста слов, которые связывают текст в предложения - разговорные слова. Тупо взять субтитры и их пропустить через прогу, она выделит все разговорные и по составленному списку сделать фильтр. Фильтрами могут быть и сами индексы. (часто встречающиеся слова) "Выделение сигнала на фоне помех"

3. Оценка сложности контента (если много неизвестных часто встречающихсф слов, то аяяй(дисперсия распределения частотного индекса)) - а в итоге-то что получается? чем поможет нам эта дисперсия? Составлению словаря? Может тогда соединить со 2ым пунктом? Например если дисперсия 100 неизвестных часто встречающихся тебе слов - это одна сложность для понимания сути, а 1000 уже другая. Нужен фильтр известрого. Еще можно ощенивать по длине предложений, в этом случае нужны алгоритмы разбиения на предложения. (если много неизвестных часто встречающихся слов, то аяяй(дисперсия распределения частотного индекса))

4. Кластеризация данных (по корреляции между данными)

5. DEPRECATED! Но пусть тут будет. Возможно в какой-то мере реализую потом. Проводить поиск информации по запросу(fuzzy finding?), - это keyword search это как мне кажется не текст майнинг(http://www.youtube.com/watch?v=40QIW9Sr6Io), хотя неточный поиск, то возможно да.

###Глава 1. Описание задачи

####Этапы решения задачи

Подзадачи

1. Выделение ключевых понятий
2. Оценка сложности контента
3. Кластеризация данных

###Глава 2.

1. Архитектура программы Предполагаемая архитектура программы:

2. Реализация

3. Тестирование кода

###Глава 3. Использование

###Глава 4. Трудозатраты Использование готового алгоритма работы с текстом предполагает ..

###Выводы

###Заключение Еще варианты использования

• Use cases

###Места http://nlpub.ru

http://habrahabr.ru/hub/search_engines/posts/page5/ - хабр - помойка, но а что делать