dataframe count and size groupby aggregations

[stress-tess]

While working with @tgstevensonRedRocket we found discrepancies between the return type of pd_df.groupby.count() and ak_df.groupby.count(). And I don't think we have a size aggregation at all

[ajpotts]

#############################################################################################################################
#############################################################################################################################
#############################################################################################################################

Pandas Example

#############################################################################################################################
#############################################################################################################################
#############################################################################################################################

import arkouda as ak
ak.connect()

import numpy as np
import pandas as pd

ivalues = ak.array([4, 1, 3, 2, 2, 2, 5, 5, 2, 3])

ak_df = ak.DataFrame({"nums":ivalues})
display(ak_df)

pd_df = ak_df.to_pandas()
print(pd_df)

ak_count = ak_df.groupby("nums").count()
display(ak_count)
type(ak_count)

pd_count = pd_df.groupby(["nums"]).count()
display(pd_count)
type(pd_count)

pd_size = pd_df.groupby(["nums"]).size()
display(pd_size)
type(pd_size)

#############################################################################################################################

Output

#############################################################################################################################

In [2]: ivalues = ak.array([4, 1, 3, 2, 2, 2, 5, 5, 2, 3])
...:
...: ak_df = ak.DataFrame({"nums":ivalues})
...: display(ak_df)
nums
0 4
1 1
2 3
3 2
4 2
5 2
6 5
7 5
8 2
9 3 (10 rows x 1 columns)

In [3]:
...: pd_df = ak_df.to_pandas()
...: print(pd_df)
...:
nums
0 4
1 1
2 3
3 2
4 2
5 2
6 5
7 5
8 2
9 3

In [4]:
...: ak_count = ak_df.groupby("nums").count()
...: display(ak_count)
1 1
2 4
3 2
4 1
5 2
dtype: int64

In [5]: type(ak_count)
Out[5]: arkouda.series.Series

In [6]: pd_count = pd_df.groupby(["nums"]).count()
...: display(pd_count)
Empty DataFrame
Columns: []
Index: [1, 2, 3, 4, 5]

In [7]: type(pd_count)
Out[7]: pandas.core.frame.DataFrame

In [8]:
...: pd_size = pd_df.groupby(["nums"]).size()
...: display(pd_size)
nums
1 1
2 4
3 2
4 1
5 2
dtype: int64

In [9]: type(pd_size)
Out[9]: pandas.core.series.Series

[ajpotts]

`
#############################################################################################################################
#############################################################################################################################
#############################################################################################################################

Pyspark Example

#############################################################################################################################
#############################################################################################################################
#############################################################################################################################

import numpy as np
import pandas as pd
from pyspark.sql.types import StructType, StructField, IntegerType

Define the schema

schema = StructType([
StructField("nums", IntegerType(), True)
])

ivalues = np.array([[4, 1, 3, 2, 2, 2, 5, 5, 2, 3]]).T

Create the PySpark DataFrame

pyspark_df = spark.createDataFrame(ivalues.tolist(), schema=schema)

pyspark_count = pyspark_df.groupby("nums").count()

pyspark_count.show()

type(pyspark_count)

#############################################################################################################################

Output

#############################################################################################################################

import numpy as np
import pandas as pd
from pyspark.sql.types import StructType, StructField, IntegerType

Define the schema

schema = StructType([
... StructField("nums", IntegerType(), True)
... ])

ivalues = np.array([[4, 1, 3, 2, 2, 2, 5, 5, 2, 3]]).T

Create the PySpark DataFrame

pyspark_df = spark.createDataFrame(ivalues.tolist(), schema=schema)

pyspark_count = pyspark_df.groupby("nums").count()

pyspark_count.show()
+----+-----+
|nums|count|
+----+-----+
| 4| 1|
| 1| 1|
| 3| 2|
| 2| 4|
| 5| 2|
+----+-----+

type(pyspark_count)
<class 'pyspark.sql.dataframe.DataFrame'>

`

[ajpotts]

Attaching the examples as a file as well:

2831_example.txt