Skip to content

deser array tree from a vortex array #8063

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
onursatici wants to merge 1 commit into
base: os/layout-overrides
Choose a base branch
from
+1,322 −0
Open

deser array tree from a vortex array #8063

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
186 changes: 186 additions & 0 deletions vortex-array/public-api.lock
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -19938,6 +19938,100 @@ pub fn S::search_sorted_by<F, N>(&self, F, N, vortex_array::search_sorted::Searc

pub mod vortex_array::serde

pub mod vortex_array::serde::columnar

pub struct vortex_array::serde::columnar::ColumnarArrayTree

pub vortex_array::serde::columnar::ColumnarArrayTree::buffers: vortex_array::arrays::StructArray

pub vortex_array::serde::columnar::ColumnarArrayTree::nodes: vortex_array::arrays::StructArray

impl vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::nnodes(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarArrayTree::try_new(vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::VarBinViewArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::serde::columnar::StatsColumns, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray) -> vortex_error::VortexResult<Self>

impl core::clone::Clone for vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::clone(&self) -> vortex_array::serde::columnar::ColumnarArrayTree

impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::columnar::ColumnarSerializedArray

impl vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::child(&self, usize) -> vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::decode(&self, &vortex_array::dtype::DType, usize, &vortex_session::registry::ReadContext, &vortex_session::VortexSession) -> vortex_error::VortexResult<vortex_array::ArrayRef>

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::encoding_id(&self) -> u16

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::from_segment_and_tree(vortex_array::buffer::BufferHandle, alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>) -> vortex_error::VortexResult<Self>

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::metadata(&self) -> vortex_buffer::ByteBuffer

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nbuffers(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nchildren(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::new(alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>, alloc::sync::Arc<[vortex_array::buffer::BufferHandle]>) -> vortex_error::VortexResult<Self>

impl core::clone::Clone for vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::clone(&self) -> vortex_array::serde::columnar::ColumnarSerializedArray

impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::columnar::StatsColumns(_)

impl vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::as_struct(&self) -> &vortex_array::arrays::StructArray

pub fn vortex_array::serde::columnar::StatsColumns::into_struct(self) -> vortex_array::arrays::StructArray

pub fn vortex_array::serde::columnar::StatsColumns::new(vortex_array::arrays::StructArray) -> vortex_error::VortexResult<Self>

pub fn vortex_array::serde::columnar::StatsColumns::nrows(&self) -> usize

pub fn vortex_array::serde::columnar::StatsColumns::read(&self, usize, &vortex_array::dtype::DType, &mut vortex_array::ExecutionCtx, &vortex_session::VortexSession) -> vortex_error::VortexResult<core::option::Option<vortex_array::stats::StatsSet>>

impl core::clone::Clone for vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::clone(&self) -> vortex_array::serde::columnar::StatsColumns

impl core::fmt::Debug for vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::columnar::StatsColumnsBuilder

impl vortex_array::serde::columnar::StatsColumnsBuilder

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::finish(self) -> vortex_error::VortexResult<vortex_array::serde::columnar::StatsColumns>

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::push(&mut self, core::option::Option<&vortex_array::stats::StatsSet>)

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::with_capacity(usize) -> Self

pub static vortex_array::serde::columnar::BUFFER_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub static vortex_array::serde::columnar::NODES_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub static vortex_array::serde::columnar::STATS_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub fn vortex_array::serde::columnar::compute_buffer_offsets(&[u16]) -> vortex_buffer::buffer::Buffer<u32>

pub fn vortex_array::serde::columnar::compute_subtree_sizes(&[u8]) -> vortex_buffer::buffer::Buffer<u32>

pub fn vortex_array::serde::columnar::serialize_to_columnar_tree(&vortex_array::ArrayRef, &vortex_array::ArrayContext, &vortex_session::VortexSession, &vortex_array::serde::SerializeOptions) -> vortex_error::VortexResult<(alloc::vec::Vec<vortex_buffer::ByteBuffer>, vortex_array::serde::columnar::ColumnarArrayTree)>

pub struct vortex_array::serde::ArrayNodeFlatBuffer<'a>

impl<'a> vortex_array::serde::ArrayNodeFlatBuffer<'a>
Expand All @@ -19946,6 +20040,54 @@ pub fn vortex_array::serde::ArrayNodeFlatBuffer<'a>::try_new(&'a vortex_array::A

pub fn vortex_array::serde::ArrayNodeFlatBuffer<'a>::try_write_flatbuffer<'fb>(&self, &mut flatbuffers::builder::FlatBufferBuilder<'fb>) -> vortex_error::VortexResult<flatbuffers::primitives::WIPOffset<vortex_flatbuffers::array::ArrayNode<'fb>>>

pub struct vortex_array::serde::ColumnarArrayTree

pub vortex_array::serde::ColumnarArrayTree::buffers: vortex_array::arrays::StructArray

pub vortex_array::serde::ColumnarArrayTree::nodes: vortex_array::arrays::StructArray

impl vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::nnodes(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarArrayTree::try_new(vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::VarBinViewArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::serde::columnar::StatsColumns, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray, vortex_array::arrays::PrimitiveArray) -> vortex_error::VortexResult<Self>

impl core::clone::Clone for vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::clone(&self) -> vortex_array::serde::columnar::ColumnarArrayTree

impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarArrayTree

pub fn vortex_array::serde::columnar::ColumnarArrayTree::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::ColumnarSerializedArray

impl vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::child(&self, usize) -> vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::decode(&self, &vortex_array::dtype::DType, usize, &vortex_session::registry::ReadContext, &vortex_session::VortexSession) -> vortex_error::VortexResult<vortex_array::ArrayRef>

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::encoding_id(&self) -> u16

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::from_segment_and_tree(vortex_array::buffer::BufferHandle, alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>) -> vortex_error::VortexResult<Self>

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::metadata(&self) -> vortex_buffer::ByteBuffer

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nbuffers(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::nchildren(&self) -> usize

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::new(alloc::sync::Arc<vortex_array::serde::columnar::ColumnarArrayTree>, alloc::sync::Arc<[vortex_array::buffer::BufferHandle]>) -> vortex_error::VortexResult<Self>

impl core::clone::Clone for vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::clone(&self) -> vortex_array::serde::columnar::ColumnarSerializedArray

impl core::fmt::Debug for vortex_array::serde::columnar::ColumnarSerializedArray

pub fn vortex_array::serde::columnar::ColumnarSerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::SerializeOptions

pub vortex_array::serde::SerializeOptions::include_padding: bool
Expand Down Expand Up @@ -20008,6 +20150,44 @@ impl core::fmt::Debug for vortex_array::serde::SerializedArray

pub fn vortex_array::serde::SerializedArray::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::StatsColumns(_)

impl vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::as_struct(&self) -> &vortex_array::arrays::StructArray

pub fn vortex_array::serde::columnar::StatsColumns::into_struct(self) -> vortex_array::arrays::StructArray

pub fn vortex_array::serde::columnar::StatsColumns::new(vortex_array::arrays::StructArray) -> vortex_error::VortexResult<Self>

pub fn vortex_array::serde::columnar::StatsColumns::nrows(&self) -> usize

pub fn vortex_array::serde::columnar::StatsColumns::read(&self, usize, &vortex_array::dtype::DType, &mut vortex_array::ExecutionCtx, &vortex_session::VortexSession) -> vortex_error::VortexResult<core::option::Option<vortex_array::stats::StatsSet>>

impl core::clone::Clone for vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::clone(&self) -> vortex_array::serde::columnar::StatsColumns

impl core::fmt::Debug for vortex_array::serde::columnar::StatsColumns

pub fn vortex_array::serde::columnar::StatsColumns::fmt(&self, &mut core::fmt::Formatter<'_>) -> core::fmt::Result

pub struct vortex_array::serde::StatsColumnsBuilder

impl vortex_array::serde::columnar::StatsColumnsBuilder

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::finish(self) -> vortex_error::VortexResult<vortex_array::serde::columnar::StatsColumns>

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::push(&mut self, core::option::Option<&vortex_array::stats::StatsSet>)

pub fn vortex_array::serde::columnar::StatsColumnsBuilder::with_capacity(usize) -> Self

pub static vortex_array::serde::BUFFER_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub static vortex_array::serde::NODES_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub static vortex_array::serde::STATS_COLUMNS_DTYPE: std::sync::lazy_lock::LazyLock<vortex_array::dtype::DType>

pub trait vortex_array::serde::ArrayChildren

pub fn vortex_array::serde::ArrayChildren::get(&self, usize, &vortex_array::dtype::DType, usize) -> vortex_error::VortexResult<vortex_array::ArrayRef>
Expand All @@ -20024,6 +20204,12 @@ pub fn T::is_empty(&self) -> bool

pub fn T::len(&self) -> usize

pub fn vortex_array::serde::compute_buffer_offsets(&[u16]) -> vortex_buffer::buffer::Buffer<u32>

pub fn vortex_array::serde::compute_subtree_sizes(&[u8]) -> vortex_buffer::buffer::Buffer<u32>

pub fn vortex_array::serde::serialize_to_columnar_tree(&vortex_array::ArrayRef, &vortex_array::ArrayContext, &vortex_session::VortexSession, &vortex_array::serde::SerializeOptions) -> vortex_error::VortexResult<(alloc::vec::Vec<vortex_buffer::ByteBuffer>, vortex_array::serde::columnar::ColumnarArrayTree)>

pub mod vortex_array::session

pub struct vortex_array::session::ArraySession
Expand Down
Loading
Loading