2026.04.22- #68 - New Hesai LiDARs

[changh95]

허사이 신제품

• Hesai Kosmo
• https://www.youtube.com/watch?v=M-bIo2zQDvU

• Hesai Picasso 6D

• 뭣,,,

MR.ScaleMaster

• Each robot runs MASt3R-SLAM, VGGT-SLAM 2.0, Pi3, and LoGeR independently (scale-ambiguous). MR.ScaleMaster fuses the per-robot trajectories and point clouds into a single, metrically consistent global map using Sim(3) loop-closure constraints optimized with g2o.

PyCuSFM

• https://github.com/nvidia-isaac/pyCuSFM
  CUDA-accelerated feature extraction, matching, and graph optimization for superior speed and scalability
  Precise and robust camera pose estimation
  Accurate and consistent 3D environment reconstruction with COLMAP-compatible outputs
  Support for any number and type of camera inputs
  Reliable extrinsic calibration for multi-camera setups
  Localization mode for integrating new data into pre-built maps

[james-joobs]

🤖 Weekly Spatial AI 리뷰 (2026.04.22)

---

🗄️ NCore (NVIDIA SIL)

![NCore Demo](

)

• 역할: Neural 3D Reconstruction 및 Physical AI 워크플로우를 위한 멀티센서 데이터 오픈소스 플랫폼 — camera·lidar·radar 데이터를 위한 canonical interchange format 제공
• 배경: 센서 데이터는 프로젝트마다 incompatible format으로 파편화 → data loading, calibration handling, sensor projection을 매번 재구현. NCore는 rigorous coordinate convention + modular component + 완전 non-redundant storage 원칙으로 통합
• 핵심 기술:
  • 컴포넌트 기반 아키텍처: Poses / Intrinsics / Sensors / Labels가 모두 독립 컴포넌트 → calibration 교체·annotation 추가 시 데이터 재작성 불필요
    • PosesComponent (SE(3) pose graph + microsecond timestamp)
    • CameraSensorComponent / LidarSensorComponent (structured ray bundles, multi-return) / RadarSensorComponent (direction/distance/radial velocity/RCS/SNR)
    • CuboidLabelComponent (3D oriented bbox + track ID)
  • .itar (indexed tar) 스토리지 포맷: cloud-native, streamable, O(1) random access
    • 로컬 SSD: ~9.8 GB/s sequential, ~9.5 GB/s random
    • S3 스트리밍: Time-to-first-read 240 ms (tarfile 119s, Parquet 8.7s 대비 압도적)
    • S3 / GCS / Azure Blob에서 local extraction 없이 직접 읽기
  • GPU 가속 sensor model (PyTorch/CUDA): ftheta (NVIDIA polynomial), opencv-pinhole, opencv-fisheye (Kannala-Brandt), row-offset-spinning LiDAR (Hesai Pandar P128) — Rolling-shutter-aware projection (per-scanline pose 보간)
  • 데이터셋 컨버터 내장: Waymo Open, COLMAP / ScanNet++, NVIDIA Physical AI Dataset
  • 통합: 3DGRUT(v4 학습), gsplat, NVIDIA NuRec의 production data backbone
  • Viser 기반 3D 뷰어: 카메라 frustum, lidar/radar cloud, cuboid, rig trajectory를 브라우저에서 시각화
• 특징: Apache 2.0 라이선스, pip install nvidia-ncore, AV fleet/robotics recording/free-posed capture 모두 지원
  🔗 Project Page | GitHub | HuggingFace Dataset

---

📸 FastForward (Niantic Spatial / Oxford) — ICLR 2026

• 논문: "A Scene is Worth a Thousand Features: Feed-Forward Camera Localization from a Collection of Image Features"
• 역할: Mapping 이미지들로부터 scene representation 생성과 query 이미지 pose 추정을 단일 feed-forward pass로 수행하는 camera localization 프레임워크
• 배경: 기존 visual localization은 map 구축에 수 분 ~ 수 시간 소요 → FastForward는 map preparation 거의 0에 가까운 feed-forward 방식 제안
• 핵심 기술:
  • Scene as Features: 씬을 여러 mapping 이미지에서 샘플링한 3D-anchored visual feature 집합으로 표현 (per-scene training 불필요)
  • Ray Embedding: 각 feature에 camera position + viewing direction 인코딩
  • Visual-Geometric Fusion via Transformer: ViT feature extractor → mapping feature sampling → ray embedding → Transformer block → DPT head → 2D-3D correspondence 예측 → P3P로 pose 계산
  • Image Retrieval 결합: 가장 relevant한 mapping view만 선택 → 런타임/메모리 거의 상수 유지
  • Constant GPU Memory / Runtime: mapping 이미지 개수와 무관
• 특징:
  • Reloc3r, MASt3R 대비 Cambridge Landmarks·Wayspots 데이터셋에서 SOTA localization 정확도
  • Unseen domain / large-scale outdoor / day-night 극한 시나리오에 강한 일반화
    🔗 Project Page | arXiv | 🎬 Demo Videos

---

🔍 AEROBLADE / AE Manifold — Latent Manifold 기반 AI 생성 이미지 탐지

• 논문 (원류): "AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error" (CVPR 2024)
• 후속 연구: "Manifold Induced Biases for Zero-shot and Few-shot Detection of Generated Images" (ICLR 2025), "Revisiting Reconstruction-based AI-generated Image Detection: A Geometric Perspective" (2025.10)
• 역할: Latent Diffusion Model(LDM)이 생성한 이미지를 학습 없이(training-free) 탐지하는 방법
• 핵심 아이디어 — Autoencoder Reconstruction Error의 비대칭성:
  • LDM은 autoencoder의 저차원 latent space에서 denoising 수행 → 생성 이미지는 해당 AE의 latent manifold 위에 정확히 놓임
  • 실제 사진은 manifold 바깥 → AE re-encode/decode 시 가장 가까운 manifold point로 강제 projection → inherent reconstruction error 발생
  • 복잡한 영역에서 재구성 artifact 시각적으로 확인 가능
  • d(x, AE(x)) distance만 threshold로 걸면 detector 완성 — real image > generated image reconstruction error
• 핵심 기술:
  • Training-free / Label-free: Stable Diffusion, Midjourney, Kandinsky 등 몇 개 AE만 앙상블
  • Inpainting localization 확장: reconstruction error heatmap이 생성된 영역을 자동으로 localize
  • Manifold Induced Biases (ICLR 2025): score-function 분석으로 implicit probability manifold의 curvature / gradient bias 근사, 20개 generative model 평가
  • Geometric Perspective (2025.10): decoder Jacobian condition number로 reconstruction error의 이론적 하한 도출
• 특징: 많은 학습 데이터를 쓴 SOTA detector와 동등한 성능, Stable Diffusion / Midjourney / Kandinsky에 일반화
  🔗 AEROBLADE arXiv | AEROBLADE GitHub | Manifold Induced Biases (ICLR 2025) | Geometric Perspective

---

📏 depth_anything_v3_deepstream

• 역할: Depth Anything V3를 NVIDIA DeepStream 8.0 + TensorRT FP16 파이프라인으로 래핑한 real-time monocular depth estimation 오픈소스 애플리케이션

• 배경: 동일 저자의 dinov3_deepstream(multi-task vision) 후속 작업, 고품질 monocular depth를 production-ready 파이프라인으로 배포

• 핵심 기술:

  • Full TensorRT FP16 Pipeline on DeepStream 8.0
  • 5개 모델 지원: DA3-SMALL (34M) / DA3-BASE (135M) / DA3-LARGE-1.1 (411M) / DA3METRIC-LARGE (334M, metric depth 출력) / DA3MONO-LARGE (334M)
  • 유연한 입력: USB 카메라 / 비디오 파일 / RTSP 스트림 / 이미지
  • GPU 가속 시각화: percentile-normalized inferno colormap을 CUDA kernel로 display surface에 직접 그림
  • Side-by-side 렌더링: nvmultistreamtiler로 원본 + depth 합성 (--show-original 플래그)
  • 파이프라인 구조:
    • Single: Source → nvstreammux → nvinfer(DA3) → depth_probe → nveglglessink
    • Dual: Source → tee → {original, nvinfer(DA3)} → nvmultistreamtiler → nveglglessink
  • Metric depth 변환: metric_depth_m = focal_pixels × raw_output / 300.0 (DA3METRIC-LARGE 전용)
  • Docker / NVIDIA Container Toolkit 지원

• 성능 (RTX 5070 Laptop GPU, FP16, 504×504, batch 1):

  모델	Params	FPS	GPU Mem
  DA3-SMALL	34M	30	522 MiB
  DA3-BASE	135M	30	744 MiB
  DA3-LARGE-1.1	411M	30	1312 MiB
  DA3METRIC-LARGE	334M	30	1208 MiB

  (30 FPS는 카메라 한계 — 실제 compute 상한은 더 높음)

• 특징: C++ 57.9% / CUDA 19.9% / Python 17.7%, Apache 2.0 라이선스, Jetson 배포 가능
  🔗 GitHub | Upstream Depth Anything V3

---

🏎️ FlashDrive (Z Lab / UC San Diego)

• 논문: "FlashDrive: Flash Vision-Language-Action Inference For Autonomous Driving" (Zekai Li, Yihao Liang 외, Zhijian Liu 교수 lab)

• 역할: 자율주행 VLA(Vision-Language-Action) 모델의 End-to-End latency를 716ms → 159ms (4.5배 속도 향상) 으로 줄이는 알고리즘-시스템 공동 설계 프레임워크

• 배경: 기존 VLA는 추론 능력은 뛰어나지만 실시간 주행 제어에 사용 불가 (~700ms) → FlashDrive는 정확도 손실 없이 150ms대로 단축 → 무거운 추론 능력을 자동차·로봇의 제어 루프에 직접 탑재 가능

• Baseline: Alpamayo 1.5 (Qwen3-VL 10B)

• 핵심 기술 (5가지 최적화):

  1. Streaming Inference: 다중 카메라 frame이 서로 겹침 → vision compute의 75%를 KV cache 재사용으로 절감. Pre-RoPE key caching으로 동적 position shift 대응, action expert만 fine-tune해 accuracy 복구
  2. Speculative Reasoning: DFlash block diffusion model을 parallel drafter로 사용 → 한 번의 forward pass에서 reasoning token block 전체 생성 (vs. 1-by-1), quality loss 0
  3. Adaptive-Step Flow Matching: denoising trajectory velocity field가 U-shape (중간 구간 <6% 변화) → 중간 step의 velocity를 cache, signal-bearing step에만 compute 집중
  4. W4A8 Quantization (ParoQuant): memory-bound decode는 4-bit weight, compute-bound prefill은 8-bit activation. Scaled pairwise rotation으로 weight outlier 억제 → CoT 생성 오류 누적 방지
  5. System-level 최적화: CUDA Graphs, kernel fusion (Q/K/V, MLP gate/up), max-autotune

• 성능 비교:

  지표	Baseline	FlashDrive	개선
  End-to-End Latency	716 ms	159 ms	4.5×
  ADE@6.4s	1.72 m	1.56 m	소폭 개선
  minADE@6.4s	0.77 m	0.84 m	0.1m 이내

  단계별 (RTX PRO 6000): Encode 88→12.5ms / Prefill 177.2→52.5ms / Decode 263.8→48.2ms / Action 187.4→46.2ms

• 크로스 플랫폼 속도 향상: Jetson Thor 4.0× · RTX 3090 4.9× · RTX 4090 5.7× · RTX 5090 5.1× · RTX PRO 6000 4.5×

• 특징: "생각하는 자율주행"의 실용화 신호 — VLA 기반 추론을 실시간 제어 루프에 통합 가능, 코드/논문은 공개 예정
  🔗 Project Page | DFlash | ParoQuant | 🎬 Demo Video

---

🤖 LingBot-Map (Robbyant / Ant Group)

• 논문: "LingBot-Map: Geometric Context Transformer for Streaming 3D Reconstruction"
• 역할: 단일 카메라 영상 스트림만으로 ~20 FPS real-time 3D 공간 재구성을 수행하는 3D Foundation 모델 (LiDAR / 듀얼 카메라 등 특수 장비 불필요)
• 핵심 기술 — Geometric Context Transformer (GCT):
  • 단일 streaming 프레임워크 안에서 세 가지 통합:
    • Coordinate Grounding (Anchor context — 고정 reference frame)
    • Dense Geometric Cues (Pose-reference window — 근거리 temporal 정보)
    • Long-range Drift Correction (Trajectory memory — 장기 drift 보정)
  • Paged KV Cache Attention (FlashInfer 기반): 10,000+ frame 장기 시퀀스에도 메모리 안정
  • Keyframe-interval mode: N번째 frame만 KV cache에 보관 (비-keyframe도 예측 생성)
  • Windowed inference mode: >3,000 frame 시퀀스용
  • Sky Masking (ONNX): outdoor scene용 skyseg.onnx 자동 다운로드
  • Autoregressive 동작 + End-to-end 학습, SLAM 구조 유지하며 후처리 불필요
  • 기반 기술: VGGT + DINOv2 + FlashInfer
• 체크포인트: lingbot-map-long / lingbot-map (base 4.63 GB) / lingbot-map-stage1
• 특징: 518×378 해상도 ~20 FPS, PyTorch 2.9.1 + CUDA 12.8, FlashInfer optional (SDPA fallback), Apache 2.0
  🔗 HuggingFace Model | GitHub | Project Website | ModelScope

---