milvus每次插入数据数量大小是否有限制

[gobigrassland]

少量数据特征插入collection.insert正常，当大量特征一次性插入时就报错，大概意思是grpc 有512M的限制。我采用循环方式，每次插入数据batch如=100才解决。想问以下Milvus2.0现在是不再支持这种大批量数据插入了吗？

我在milvus文档中找到了一篇“如何玩转十亿向量搜索”里面使用的是sift 10亿特征，里面是直接调用将这批数据插入。不过这个是2019年写的。

[yhmo]

v2.0的限制是每次insert不能超过512MB：https://milvus.io/docs/v2.0.x/limitations.md#Milvus-Limits
v1.x实际上也有限制，不能超过256MB

[chaochen1998]

我是用docker-compose命令启动的，在哪里能找到这个配置文件呢

[yhmo]

路径在容器里的 /milvus/configs/milvus.yaml，一般是把这个路径映射到外面，改外面的同名文件即可：
https://milvus.io/docs/configure-docker.md

[chaochen1998]

version: '3.5'

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
    - "9001:9001"
    - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.3.12
    command: ["milvus", "run", "standalone"]
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"

networks:
  default:
    name: milvus

我是这样启动的，现在除了重新启动，还有别的办法更改这个64MB吗？

[yhmo]

假设docker-compose.yaml放在这个目录 /xxx/yyy/docker-compose.yaml
把这个文件下载到 /xxx/yyy 目录下
那现在目录下有docker-compose.yaml 和milvus.yaml两个文件
用文本编辑器修改docker-compose.yaml，在volumes下面加上一行

standalone:
    ......
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
      - ${DOCKER_VOLUME_DIRECTORY:-.}/milvus.yaml:/milvus/configs/milvus.yaml

用文本编辑器修改 /xxx/yyy/milvus.yaml， 把proxy.grpc.serverMaxRecvSize改为268435456，就相当于把上限改为256兆

proxy:
  grpc:
    serverMaxSendSize: 268435456
    serverMaxRecvSize: 268435456

然后重启milvus standalone（必须重启）
serverMaxRecvSize的最高上限最多只能改为2GB，因为这是grpc的限制

[chaochen1998]

感谢回复，祝工作顺利