Index Assembe Algorithm

MapReduce

http://www-01.ibm.com/software/data/infosphere/hadoop/ - Hadoop and MapReduce

http://stackoverflow.com/questions/7963670/hadoop-mobile-application - Hadoop android

http://developer.yahoo.com/hadoop/tutorial/

http://www.youtube.com/watch?v=EIxelKcyCC0

https://developers.google.com/appengine/docs/python/dataprocessing/overview ! MapReduce GAE

typles and lists python http://stackoverflow.com/questions/1708510/python-list-vs-tuple-when-to-use-each

Модифицированная версия

''' 
Минусы:
    Много копирования, хотя в python сложные типы данных передаются по ссылкам
    Из-за разнородности источников будет раcбалансировка при многопоточной обработке
'''
# Map. Одна работа это - 
(node_name, (url, to_text_fptr, tokenizer_fptr))  

# Shuffle - схлопываем предварительные результаты - наверное это будет dict
(node_name, [{word_j_stemmeted: [count, [content_items_or_None]]}, url], [], [] )

# Reduce - итоговый индекс
(node_name, [{word_j_stemmeted: [summ_count, [content_items_or_None]]}, [url]])