[Bug] NVIDIA eGPU RPC Timeout / KeyError 63 on macOS (mini M4 Pro) via TBT5/USB4

[OpenWrt01]

Describe the bug

I am experiencing hardware initialization failures when using NVIDIA GPUs (RTX 3060, 4080, 4090, 5090) on a Mac mini (M4 Pro, macOS 26.x) via UGreen Thunderbolt 5 and USB4 enclosures. While AMD GPUs (RX 7900 XTX) work flawlessly via macOS native drivers, tinygrad fails during the NV driver handshake.

Ref ： #15652

Hardware Environment:

Host: MAC mini (Apple M4 Pro), macOS 16.x

ASM2464 (USB4) -> Works intermittently or better than TBT
UGreen LinkStation ASM2464 (USB4) + RTX3060， 4090 and AMD RX7900 XTX -> Pass

GPUs Tested: RTX 3060, 4080, 4090, 5090 (system info device list can find the eGPU device)

Enclosures: - UGreen LinkStation (Thunderbolt 5) + RTX3060, 4080,4090,5090 -> Fails
Enclosures: - UGreen LinkStation (Thunderbolt 5) + AMD RX7900 XTX -> Pass

Error 1: Architecture Recognition (KeyError)

In nvdev.py, the architecture is read as 0x3F instead of 0x19 (Ada) or 0x17 (Ampere).

Python
File "nvdev.py", line 113, in _early_ip_init

    self.chip_name = {0x17: "GA1", 0x19: "AD1", 0x1b: "GB2"}[self.chip_details['architecture']]
KeyError: 63  # 0x3F

Error 2: Reset Timeout

After manually patching the KeyError (add 0x3F: "GA1" on self.chip_name), the driver hangs at wait_for_reset:

TimeoutError: waiting for reset. Timed out after 10000 ms, condition not met: False != True

Analysis:

It seems the TBT5/Titan Ridge controllers are interfering with low-level PCIe PERST# signals or Atomic Operations required by the GSP-RM initialization in user-space. The ASM2464's transparent PCIe tunneling seems more compatible with tinygrad's bare-metal approach than Intel's Thunderbolt implementation.

To Reproduce:

DEV=NV python3 -m tinygrad.llm --benchmark

Additional Context:

I can provide more logs or test on various hardware if needed. Is there a plan to optimize the RPC timeout or the GSP initialization sequence for high-bandwidth/high-latency Thunderbolt 5 tunnels?

[machiabeli]

�[38;5;238m─────┬──────────────────────────────────────────────────────────────────────────�[0m
�[38;5;238m 1�[0m �[38;5;238m│�[0m �[38;2;254;220;197m##�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mMac Studio M3 Ultra + Razer Core X V2 + RTX PRO 5000 Blackwell�[0m
�[38;5;238m 2�[0m �[38;5;238m│�[0m
�[38;5;238m 3�[0m �[38;5;238m│�[0m �[38;2;255;255;255mSame class of failure — GSP RPC init fails through TB5.�[0m
�[38;5;238m 4�[0m �[38;5;238m│�[0m
�[38;5;238m 5�[0m �[38;5;238m│�[0m �[38;2;254;220;197m###�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mHardware�[0m
�[38;5;238m 6�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;233;192;98m�[0m�[1;38;2;233;192;98mHost:�[0m�[38;2;233;192;98m�[0m�[38;2;225;212;185m Mac Studio M3 Ultra (512GB unified memory), macOS 26.5 (25F5042g)�[0m
�[38;5;238m 7�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;233;192;98m�[0m�[1;38;2;233;192;98mEnclosure:�[0m�[38;2;233;192;98m�[0m�[38;2;225;212;185m Razer Core X V2 (USB4 v2 mode, FW 59.2)�[0m
�[38;5;238m 8�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;233;192;98m�[0m�[1;38;2;233;192;98mGPU:�[0m�[38;2;233;192;98m�[0m�[38;2;225;212;185m RTX PRO 5000 Blackwell (Device ID: 0x2bb3, Vendor: 0x10de)�[0m
�[38;5;238m 9�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;233;192;98m�[0m�[1;38;2;233;192;98mLink:�[0m�[38;2;233;192;98m�[0m�[38;2;225;212;185m PCIe x4 @ 16.0 GT/s, Link Status: UP, 80 Gb/s TB5�[0m
�[38;5;238m 10�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;233;192;98m�[0m�[1;38;2;233;192;98mTinyGPU:�[0m�[38;2;233;192;98m�[0m�[38;2;225;212;185m org.tinygrad.tinygpu.driver2 1.0.0/3 [activated enabled]�[0m
�[38;5;238m 11�[0m �[38;5;238m│�[0m
�[38;5;238m 12�[0m �[38;5;238m│�[0m �[38;2;254;220;197m###�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mWhat works�[0m
�[38;5;238m 13�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;225;212;185mmacOS sees the GPU on PCIe (�[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179msystem_profiler SPPCIDataType�[0m�[38;2;87;139;179m�[0m�[38;2;225;212;185m shows link up)�[0m
�[38;5;238m 14�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m TinyGPU DriverKit extension matches and loads (�[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179mioreg�[0m�[38;2;87;139;179m�[0m�[38;2;225;212;185m shows �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179mtinygpu�[0m�[38;2;87;139;179m�[0m�[38;2;225;212;185m IOUserService registered, matched, active)�[0m
�[38;5;238m 15�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m BAR0 MMIO is mapped — register writes succeed (confirmed via NV_DEBUG=4, wreg output shows GPU register writes at 0x110c00, 0x8f2ac0 etc.)�[0m
�[38;5;238m 16�[0m �[38;5;238m│�[0m
�[38;5;238m 17�[0m �[38;5;238m│�[0m �[38;2;254;220;197m###�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mWhat fails�[0m
�[38;5;238m 18�[0m �[38;5;238m│�[0m
�[38;5;238m 19�[0m �[38;5;238m│�[0m �[38;2;233;192;98m�[0m�[1;38;2;233;192;98mtinygrad 0.12.0 (pip):�[0m�[38;2;233;192;98m�[0m�[38;2;255;255;255m �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179mIOServiceOpen failed�[0m�[38;2;87;139;179m�[0m�[38;2;255;255;255m — the PCI interface can't open the TinyGPU user client connection.�[0m
�[38;5;238m 20�[0m �[38;5;238m│�[0m
�[38;5;238m 21�[0m �[38;5;238m│�[0m �[38;2;233;192;98m�[0m�[1;38;2;233;192;98mtinygrad master (git HEAD):�[0m�[38;2;233;192;98m�[0m�[38;2;255;255;255m Gets past IOServiceOpen, BAR0 mapped, register writes succeed, but GSP firmware boot fails:�[0m
�[38;5;238m 22�[0m �[38;5;238m│�[0m
�[38;5;238m 23�[0m �[38;5;238m│�[0m �[38;2;255;255;255m�[0m �[38;5;238m 24�[0m �[38;5;238m│�[0m �[38;2;87;139;179mRuntimeError: RPC call 4097 failed with result 101�[0m �[38;5;238m 25�[0m �[38;5;238m│�[0m �[38;2;255;255;255m�[0m
�[38;5;238m 26�[0m �[38;5;238m│�[0m
�[38;5;238m 27�[0m �[38;5;238m│�[0m �[38;2;255;255;255mThis is �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179mNV_VGPU_MSG_FUNCTION_GSP_INIT�[0m�[38;2;87;139;179m�[0m�[38;2;255;255;255m failing. The chip is detected as architecture �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179m0x1b�[0m�[38;2;87;139;179m�[0m�[38;2;255;255;255m (Blackwell, GB2xx) correctly, firmware name resolves to �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179mGB202�[0m�[38;2;87;139;179m�[0m�[38;2;255;255;255m.�[0m
�[38;5;238m 28�[0m �[38;5;238m│�[0m
�[38;5;238m 29�[0m �[38;5;238m│�[0m �[38;2;254;220;197m###�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mObservations�[0m
�[38;5;238m 30�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m �[0m�[38;2;225;212;185mThe Razer Core X V2 negotiates USB4 v2 mode at 80 Gb/s (confirmed via �[0m�[38;2;87;139;179m�[0m�[38;2;87;139;179msystem_profiler SPThunderboltDataType�[0m�[38;2;87;139;179m�[0m�[38;2;225;212;185m)�[0m
�[38;5;238m 31�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m Matches the pattern in this issue: TB5 enclosures fail NVIDIA GSP init, while ASM2464 USB4 adapters reportedly work�[0m
�[38;5;238m 32�[0m �[38;5;238m│�[0m �[38;2;225;212;185m-�[0m�[38;2;225;212;185m AMD GPUs were not tested with this enclosure�[0m
�[38;5;238m 33�[0m �[38;5;238m│�[0m
�[38;5;238m 34�[0m �[38;5;238m│�[0m �[38;2;254;220;197m###�[0m�[38;2;254;220;197m �[0m�[38;2;254;220;197mEnvironment�[0m
�[38;5;238m 35�[0m �[38;5;238m│�[0m �[38;2;255;255;255m�[0m �[38;5;238m 36�[0m �[38;5;238m│�[0m �[38;2;87;139;179mPython 3.14.3 (Homebrew)�[0m �[38;5;238m 37�[0m �[38;5;238m│�[0m �[38;2;87;139;179mtinygrad 0.12.0 (pip) + master (git)�[0m �[38;5;238m 38�[0m �[38;5;238m│�[0m �[38;2;87;139;179mDocker Desktop available�[0m �[38;5;238m 39�[0m �[38;5;238m│�[0m �[38;2;87;139;179mSIP enabled�[0m �[38;5;238m 40�[0m �[38;5;238m│�[0m �[38;2;255;255;255m�[0m
�[38;5;238m─────┴──────────────────────────────────────────────────────────────────────────�[0m

[machiabeli]

�[38;5;238m─────┬──────────────────────────────────────────────────────────────────────────�[0m
�[38;5;238m 1�[0m �[38;5;238m│�[0m �[38;2;255;255;255mFollow-up with NOCAT decode from my Mac Studio M3 Ultra + Razer Core X V2 + RTX PRO 5000 Blackwell:�[0m
�[38;5;238m 2�[0m �[38;5;238m│�[0m
�[38;5;238m 3�[0m �[38;5;238m│�[0m �[38;2;255;255;255mGSP boot gets past FMC/COT and starts responding, but fails during init. The NOCAT records show:�[0m
�[38;5;238m 4�[0m �[38;5;238m│�[0m
�[38;5;238m 5�[0m �[38;5;238m│�[0m �[38;2;255;255;255m1. FBFLCN UNRECOGNIZED_CLIENT — Frame Buffer Falcon sees an unrecognized memory client. Likely the TB5 PCIe topology confusing the GPU's memory controller client registration.�[0m
�[38;5;238m 6�[0m �[38;5;238m│�[0m
�[38;5;238m 7�[0m �[38;5;238m│�[0m �[38;2;255;255;255m2. Multiple ASSERT NV_PGC6_AON_SECURE_SCRATCH_GROUP_05_0_GFW_BOOT_PROGRESS — GFW boot assertions at various stages, suggesting firmware is hitting validation checks during init.�[0m
�[38;5;238m 8�[0m �[38;5;238m│�[0m
�[38;5;238m 9�[0m �[38;5;238m│�[0m �[38;2;255;255;255m3. Display Subsystem / PCIe Engine / VBIOS — display subsystem enumeration (expected to fail since TinyGPU is compute-only).�[0m
�[38;5;238m 10�[0m �[38;5;238m│�[0m
�[38;5;238m 11�[0m �[38;5;238m│�[0m �[38;2;255;255;255mThe UNRECOGNIZED_CLIENT in FBFLCN is the likely root cause — the GPU's memory fabric doesn't recognize the requesting PCIe peer through the TB5 tunnel. This aligns with the hypothesis that TB5 controllers present a different PCIe topology than the GPU firmware expects.�[0m
�[38;5;238m 12�[0m �[38;5;238m│�[0m
�[38;5;238m 13�[0m �[38;5;238m│�[0m �[38;2;255;255;255mDebug method: Patched NVRpcQueue.read_resp to decode NV_VGPU_MSG_EVENT_GSP_POST_NOCAT_RECORD messages as ASCII strings.�[0m
�[38;5;238m─────┴──────────────────────────────────────────────────────────────────────────�[0m