New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

skeleton 코드 nemo output #15

Open

tantara opened this issue Nov 1, 2018 · 1 comment

tantara commented Nov 1, 2018

word count 예제에서
run_spark.sh로 돌린 경우에는 work count가 제대로 수행된 것 같은데
run_nemo.sh로 돌린 경우에는 모든 단어의 count가 1로 고정되어있습니다.

vocab의 수는 동일한데 nemo에서 spark와 동일한 결과를 얻으려면 수정해야할 것이 있을까요?

The text was updated successfully, but these errors were encountered:

Contributor

johnyangk commented Nov 1, 2018

Report 감사합니다. 해당 Application에 대해 Nemo에서 combiner optimization 버그가 있었습니다.

버그 fix한 코드를 업데이트하였습니다. 최신 master의 nemo-shaded.tar.gz 를 사용하시면 Spark와 동일한 결과 (전체 결과들 concat후 sort할시) 를 얻는 것을 확인하실 수 있습니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment