Makets

Where can store index?

• PC
• Dropbox
• GAE
• ?

###How save?

• json (если приложение stateless, то грузить каждый раз файл наверное накладно, но если хранить, например, в SQLite и на Dropbox, то алгоритм работы Dropbox может повредить бинарный файл
• data bases(возможно предоставляют больше возможностей по управлению индексом)

###*.mkts

// Может еще как назвать?
// Контекст может хранится, а может и нет, как быть? Нужно ли добавлять что-то к
//   интерфейсу для разделения?
public interface IWordFrequentcyIndexKeeper {
  // 
  initIndexStorage();

  // Добавить к индексу

  // Получить план хранилища
  IGraph get();

}

/** Схемы хранения */
// head_content_item.mkt
NameContentItem : "bla bla bla"
//? как быть с направленностью связей
INs: []
OUTs: []


// own_freq_index.mkt
// такой индекс удобно заполнять
// Он не будет сортирован в порядке убывания и это проблема, возможно нужно хранить в списке
// А что если понадобится поиск? Т.е. выходи для разных целей нужен разный формат представления
Index: {  
  "word1": 78,
  "word2": 43
}
SortedIndex: [{"word1": 78}, {"word2": 43}]  // увеличивает размер хранилища в двое. Каждый раз сортировать?

// content_index.mkt
// наверное отдельный и опциональный файл(таблица)
Context: {
  "": [asdf, adsf]
}

###Links Web spider : http://habrahabr.ru/post/125754/

http://www.ibm.com/developerworks/ru/library/l-spider/