Como puedo obtener el vector de menor modulo entre 2 vectores en Unity C#, algo asi como la función Mathf.Min pero para Vector3
No hay una función en Unity que devuelva el vector de menor módulo directamente, pero puedes escribir tu propia función que calcule el módulo de dos vectores y devuelva el vector con el módulo más pequeño.

Aquí hay un ejemplo de código que hace eso:

using UnityEngine;

public static class Vector3Extensions
{
    public static Vector3 Min(Vector3 a, Vector3 b)
    {
        return (a.magnitude < b.magnitude) ? a : b;
    }
}

Puedes utilizar esta función de la siguiente manera:
Vector3 vectorA = new Vector3(1, 2, 3);
Vector3 vectorB = new Vector3(4, 5, 6);

Vector3 minVector = Vector3Extensions.Min(vectorA, vectorB);