MapReduce w przykładach

Źródło: Tom Gersic, Big Data Made Small with Heroku, DynamoDB, and Elastic Map Reduce

It’s impossible to overstress this:
80% of the work in any data project is in cleaning the data.

— DJ Patil, „Data Jujitsu”

1. Bzyl, Włodzimierz. 4 książki z Project Gutenberg.
2. Bełcik, Jakub.
3. Białkowski, Dominik.
4. Brzeziński, Damian.
5. Cała, Mariusz.
6. Dermont, Jacek. Lista anime.
7. Detlaf, Krzysztof.
8. Dępczyk, Michał.
9. Dobrzycki, Wojciech.
10. Dolata, Jędrzej.
11. Domurat, Szymon.
12. Duwe, Oskar.
13. Elszkowski, Adrian.
14. Gałka, Jacek.
15. Głowacki, Michał.
16. Gniado, Bartosz.
17. Groszek, Rafał.
18. Januszewski, Tomasz.
19. Jaźwiński, Robert.
20. Karczewski, Kamil.
21. Karwowski, Kamil.
22. Kłeczek, Piotr.
23. Kotłowski, Piotr. Lotniska na świecie.
24. Koźmiński, Marcin.
25. Królik, Przemysław.
26. Kubacki, Konrad.
27. Kwiatkowski, Mateusz.
28. Lewandowska, Marta. Baby names.
29. Łuczun, Rafał.
30. Malinowski, Piotr.
31. Małecki, Maciej.
32. Matulewski, Damian. Głosowanie.
33. Melzer, Grzegorz.
34. Mieszała, Konrad.
35. Motel, Mateusz. Stack Overflow Titles.
36. Motławski, Mateusz.
37. Napiórkowski, Sebastian. Cascading Flight Delays.
38. Osękowski, Dominik.
39. Osiński, Miłosz.
40. Ostrowski, Michał.
41. Paczyński, Łukasz.
42. Piasecka, Aleksandra.
43. Pietraszuk, Bartłomiej.
44. Pikora, Mateusz. Lista anagramów.
45. Plichta, Oskar. IMDB.
46. Puchalski, Paweł.
47. Rogaszewski, Piotr.
48. Rybarczyk, Karolina.
49. Sawicki, Paweł.
50. Siora, Kacper.
51. Skiba, Marek.
52. Skowroński, Krzysztof.
53. Smykowski, Adrian.
54. Sott, Tomasz. BTS – On-Time Performance.
55. Stefanowicz, Michał. Szkoła.
56. Szygenda, Mateusz. Wypadki samochodowe.
57. Tomczak, Robert. Lista lotnisk.
58. Wąsowicz, Michał.
59. Winsławski, Bartłomiej.
60. Wiśniewski, Konrad.
61. Wiśniewski, Konrad.
62. Zdunek, Kamil. Airports.
63. Żarkowski, Mateusz.

GitHub Archive

• GitHub Archive
• Ilya Grigorik, Analyzing Millions of GitHub Commits

Przykładowy JSON:

{
  "repository": {
    "master_branch": "master",
    "pushed_at": "2013-03-31T06:14:38-07:00",
    "created_at": "2011-01-12T03:10:05-08:00",
    "language": "JavaScript",
    "forks": 4,
    "stargazers": 8,
    "watchers": 8,
    "homepage": "",
    "description": "",
    "url": "https://github.com/wbzyl/nosql-tutorial",
    "name": "nosql-tutorial",
    "id": 1245063,
    "fork": false,
    "size": 564,
    "owner": "wbzyl",
    "private": false,
    "open_issues": 0,
    "has_issues": true,
    "has_downloads": true,
    "has_wiki": true
  },
  "actor_attributes": {
    "email": "matwb@univ.gda.pl",
    "location": "Poland",
    "blog": "http://tao.inf.ug.edu.pl/",
    "company": "Institute of  Informatics, The University of Gdańsk",
    "name": "Wlodek Bzyl",
    "gravatar_id": "5daf79134c95a64ccdbf2bd477e52392",
    "type": "User",
    "login": "wbzyl"
  },
  "actor": "wbzyl",
  "url": "https://github.com/wbzyl/nosql-tutorial/compare/073c0ed4c5...e5a8ae8209",
  "type": "PushEvent",
  "public": true,
  "payload": {
    "head": "e5a8ae820950953ce115801fe099d42ecb481ed1",
    "ref": "refs/heads/master",
    "size": 1,
    "shas": [
      [
        "e5a8ae820950953ce115801fe099d42ecb481ed1",
        "matwb@univ.gda.pl",
        "update README-Ruby.md",
        "Wlodek Bzyl",
        true
      ]
    ]
  },
  "created_at": "2013-03-31T06:14:39-07:00"
}