Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -537,10 +537,10 @@ ScalarDB Cluster は、本番環境では Kubernetes プラットフォーム上

#### プラットフォーム

- **[Kubernetes](https://kubernetes.io/):** 1.28 - 1.32
- **[Amazon Elastic Kubernetes Service (EKS)](https://aws.amazon.com/eks/)**
- **[Azure Kubernetes Service (AKS)](https://azure.microsoft.com/en-us/products/kubernetes-service)**
- **[Red Hat OpenShift](https://www.redhat.com/en/technologies/cloud-computing/openshift):** TBD
- **[Kubernetes](https://kubernetes.io/):** 1.30 - 1.33
- **[Amazon Elastic Kubernetes Service (EKS)](https://aws.amazon.com/jp/eks)**
- **[Azure Kubernetes Service (AKS)](https://azure.microsoft.com/ja-jp/products/kubernetes-service)**
- **[Red Hat OpenShift](https://www.redhat.com/ja/technologies/cloud-computing/openshift):** TBD

#### パッケージマネージャー

Expand Down Expand Up @@ -660,6 +660,31 @@ ScalarDB Analytics は、ScalarDB Core および Cluster によって**管理さ
</TabItem>
</Tabs>

#### 分析プラットフォーム

ScalarDB Analytics は、ScalarDB Core および Cluster によって**管理されていない**以下の分析プラットフォーム上で分析クエリを実行できます。

<Tabs groupId="analytical-platforms" queryString>
<TabItem value="databricks" label="Databricks" default>

| バージョン | Databricks |
| :-------------------------- | :--------- |
| **ScalarDB Analytics 3.16** | ✅ |
| **ScalarDB Analytics 3.15** | ❌ |
| **ScalarDB Analytics 3.14** | ❌ |

</TabItem>
<TabItem value="snowflake" label="Snowflake">

| バージョン | Snowflake |
| :-------------------------- | :-------- |
| **ScalarDB Analytics 3.16** | ✅ |
| **ScalarDB Analytics 3.15** | ❌ |
| **ScalarDB Analytics 3.14** | ❌ |

</TabItem>
</Tabs>

### データベース権限要件

ScalarDB Analytics は、基盤となるデータベースで操作を実行するために読み取り権限が必要です。
Expand All @@ -668,8 +693,7 @@ ScalarDB Core および Cluster で管理されているデータベースにつ

ScalarDB Core および Cluster で**管理されていない**データベースについては、データソースに対する読み取り権限を持つユーザーでデータソースを登録してください。データソースの登録手順については、[カタログの作成](scalardb-analytics/create-scalardb-analytics-catalog.mdx#カタログの作成)を参照してください。

ScalarDB Analytics サーバーは、そのデータベース内のカタログ情報を管理するための権限も必要です。
[データベース権限要件](requirements.mdx#データベース権限要件)に従って権限を持つユーザーを作成し、そのユーザーを ScalarDB Analytics サーバー設定に設定してください。
ScalarDB Analytics サーバーは、そのデータベース内のカタログ情報を管理するための権限も必要です。[データベース権限要件](requirements.mdx#データベース権限要件)に従って権限を持つユーザーを作成し、そのユーザーを ScalarDB Analytics サーバー設定に設定してください。

### 必要なポート

Expand All @@ -685,10 +709,10 @@ ScalarDB Analytics のサーバーコンポーネント (ScalarDB Analytics サ

#### プラットフォーム

- **[Kubernetes](https://kubernetes.io/):** 1.28 - 1.32
- **[Amazon Elastic Kubernetes Service (EKS)](https://aws.amazon.com/eks/)**
- **[Azure Kubernetes Service (AKS)](https://azure.microsoft.com/en-us/products/kubernetes-service)**
- **[Red Hat OpenShift](https://www.redhat.com/en/technologies/cloud-computing/openshift):** TBD
- **[Kubernetes](https://kubernetes.io/):** 1.30 - 1.33
- **[Amazon Elastic Kubernetes Service (EKS)](https://aws.amazon.com/jp/eks)**
- **[Azure Kubernetes Service (AKS)](https://azure.microsoft.com/ja-jp/products/kubernetes-service)**
- **[Red Hat OpenShift](https://www.redhat.com/jp/technologies/cloud-computing/openshift):** TBD

#### パッケージマネージャー

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -27,13 +27,12 @@ import TranslationBanner from "/src/components/_translation-ja-jp.mdx";

### 主要ドキュメント

- [概要](./overview.mdx) - ScalarDB Analytics のアーキテクチャと機能を理解する
- [ScalarDB Analytics のデプロイ](./deployment.mdx) - Amazon EMR、Databricks、その他のプラットフォームへのデプロイ
- [分析クエリの実行](./run-analytical-queries.mdx) - 複数のデータベースにまたがるクエリの実行
- [管理ガイド](./administration.mdx) - カタログとデータソースの管理
- [設定リファレンス](./configuration.mdx) - Spark とデータソースの設定
- [パブリッククラウド環境への ScalarDB Analytics のデプロイ](./deployment.mdx) - Amazon EMR、Databricks、その他のプラットフォームへのデプロイ
- [ScalarDB Analytics カタログの作成](./create-scalardb-analytics-catalog.mdx) - カタログの作成とデータソースの追加
- [ScalarDB Analytics を通じた分析クエリの実行](./run-analytical-queries.mdx) - 複数のデータベースにまたがるクエリの実行
- [ScalarDB Analytics の設定](./configurations.mdx) - Spark とデータソースの設定

### 技術詳細

- [設計ドキュメント](./design.mdx) - 技術アーキテクチャの詳細
- [バージョン互換性](./run-analytical-queries.mdx#バージョン互換性) - サポートされている Spark と Scala のバージョン
- [ScalarDB Analytics の設計](./design.mdx) - 技術アーキテクチャの詳細
- [Spark](../requirements.mdx#spark) - サポートされている Spark と Scala のバージョン
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@ tags:
displayed_sidebar: docsJapanese
---

# 設定リファレンス
# ScalarDB Analytics の設定

import TranslationBanner from "/src/components/_translation-ja-jp.mdx";

Expand All @@ -14,15 +14,15 @@ import TranslationBanner from "/src/components/_translation-ja-jp.mdx";

## 概要

ScalarDB Analytics は、設定が必要な 3 つの主要コンポーネントで構成されています
ScalarDB Analytics は、設定が必要な 3 つの主要コンポーネントで構成されています:

1. **ScalarDB Analytics サーバー** - カタログ情報とメータリングサービスをホストするサーバー
2. **CLI クライアント** - カタログとデータソースを管理するためのコマンドラインインターフェース
3. **Spark 統合** - Apache Spark で ScalarDB Analytics を使用するための設定

## ScalarDB Analytics サーバー設定

サーバーは、データベース接続、ネットワーク設定、ライセンス、オプション機能を定義する標準的な Java プロパティファイル(例:`scalardb-analytics-server.properties`を使用して設定されます。
サーバーは、データベース接続、ネットワーク設定、ライセンス、オプション機能を定義する標準的な Java プロパティファイル (例: `scalardb-analytics-server.properties`) を使用して設定されます。

### メタデータデータベース設定

Expand Down Expand Up @@ -87,12 +87,12 @@ ScalarDB Analytics ライセンスを設定します。
#### `licensing.license_check_cert_pem`

- **フィールド:** `scalar.db.analytics.server.licensing.license_check_cert_pem`
- **説明:** PEM 文字列としてのライセンス検証証明書。これか `license_check_cert_path` のいずれかを指定する必要があります
- **説明:** ライセンス検証に使用する証明書の PEM 形式文字列。本フィールドまたは `license_check_cert_path` のいずれか一方を指定してください

#### `licensing.license_check_cert_path`

- **フィールド:** `scalar.db.analytics.server.licensing.license_check_cert_path`
- **説明:** ライセンス検証証明書ファイルへのパス。これか `license_check_cert_pem` のいずれかを指定する必要があります
- **説明:** ライセンス検証に使用する証明書ファイルのパス。本フィールドまたは `license_check_cert_pem` のいずれか一方を指定してください

### メータリングストレージ設定

Expand All @@ -101,7 +101,7 @@ ScalarDB Analytics ライセンスを設定します。
#### `metering.storage.provider`

- **フィールド:** `scalar.db.analytics.server.metering.storage.provider`
- **説明:** メータリングデータのストレージプロバイダー`filesystem`、`aws-s3`、`azureblob`、`google-cloud-storage`
- **説明:** メータリングデータのストレージプロバイダー (`filesystem`、`aws-s3`、`azureblob`、`google-cloud-storage`)

#### `metering.storage.containerName`

Expand Down Expand Up @@ -131,7 +131,7 @@ ScalarDB Analytics ライセンスを設定します。

## CLI クライアント設定

CLI クライアントは、ScalarDB Analytics サーバーと通信するための接続設定を Java プロパティファイル(例:`client.properties`を使用して設定します。
CLI クライアントは、ScalarDB Analytics サーバーと通信するための接続設定を Java プロパティファイル (例: `client.properties`) を使用して設定します。

## 設定プロパティ

Expand Down Expand Up @@ -176,11 +176,11 @@ CLI クライアントは、ScalarDB Analytics サーバーと通信するため
#### `server.tls.override_authority`

- **フィールド:** `scalar.db.analytics.client.server.tls.override_authority`
- **説明:** TLS 検証のためのサーバー権限をオーバーライドテストに便利
- **説明:** TLS 検証のためのサーバー権限をオーバーライド (テストに便利)

## Spark 統合設定

Apache Spark で ScalarDB Analytics を使用するには、Spark 設定ファイル`spark-defaults.conf`に必要な設定を追加して Spark アプリケーションを設定します。
Apache Spark で ScalarDB Analytics を使用するには、Spark 設定ファイル (`spark-defaults.conf`) に必要な設定を追加して Spark アプリケーションを設定します。

### Spark Core 設定

Expand All @@ -206,7 +206,9 @@ Apache Spark で ScalarDB Analytics を使用するには、Spark 設定ファ
- **説明:** ScalarDB Analytics カタログ実装を登録。`<catalog-name>` は ScalarDB Analytics サーバーで作成したカタログの正確な名前に置き換えてください。値として `com.scalar.db.analytics.spark.catalog.ScalarDBAnalyticsCatalog` を使用します。

:::important

`<catalog-name>` は CLI を使用して ScalarDB Analytics サーバーで作成したカタログ名と一致する必要があります。例えば、サーバーで `production` という名前のカタログを作成した場合は、`spark.sql.catalog.production` を使用してください。

:::

### サーバー接続設定
Expand Down Expand Up @@ -250,7 +252,7 @@ Apache Spark で ScalarDB Analytics を使用するには、Spark 設定ファ
- **フィールド:** `spark.sql.catalog.<catalog-name>.server.tls.override_authority`
- **説明:** TLS 検証のためのサーバー権限をオーバーライド。

`<catalog-name>` を選択したカタログ名(例:`analytics`に置き換えてください。
`<catalog-name>` を選択したカタログ名 (例: `analytics`) に置き換えてください。

## 設定例

Expand All @@ -260,7 +262,7 @@ Apache Spark で ScalarDB Analytics を使用するには、Spark 設定ファ

以下は、サーバー、CLI クライアント、および Spark の設定例です。

#### サーバー設定`scalardb-analytics-server.properties`
#### サーバー設定 (`scalardb-analytics-server.properties`)

```properties
# メタデータデータベース
Expand All @@ -272,18 +274,18 @@ scalar.db.analytics.server.db.password=dev_password
scalar.db.analytics.server.licensing.license_key=YOUR_DEV_LICENSE_KEY
scalar.db.analytics.server.licensing.license_check_cert_path=/path/to/license_cert.pem

# メータリングストレージ開発用に filesystem
# メータリングストレージ (開発用に filesystem)
scalar.db.analytics.server.metering.storage.provider=filesystem
scalar.db.analytics.server.metering.storage.path=/tmp/scalardb-analytics-metering
```

#### CLI クライアント設定`client.properties`
#### CLI クライアント設定 (`client.properties`)

```properties
scalar.db.analytics.client.server.host=localhost
```

#### Spark 設定`spark-defaults.conf`
#### Spark 設定 (`spark-defaults.conf`)

```properties
spark.jars.packages com.scalar-labs:scalardb-analytics-spark-all-3.5_2.12:3.16.2
Expand All @@ -296,7 +298,7 @@ spark.sql.catalog.analytics.server.host localhost

以下は、本番環境での TLS、CLI クライアント、および Spark の設定例です。

#### サーバー設定`scalardb-analytics-server.properties`
#### サーバー設定 (`scalardb-analytics-server.properties`)

```properties
# メタデータデータベース
Expand All @@ -317,23 +319,23 @@ scalar.db.analytics.server.tls.private_key_path=/path/to/server.key
scalar.db.analytics.server.licensing.license_key=YOUR_LICENSE_KEY
scalar.db.analytics.server.licensing.license_check_cert_pem=-----BEGIN CERTIFICATE-----\nMIID...certificate content...\n-----END CERTIFICATE-----

# メータリングストレージ(S3)
# メータリングストレージ (S3)
scalar.db.analytics.server.metering.storage.provider=aws-s3
scalar.db.analytics.server.metering.storage.containerName=analytics-metering
scalar.db.analytics.server.metering.storage.accessKeyId=AKIAIOSFODNN7EXAMPLE
scalar.db.analytics.server.metering.storage.secretAccessKey=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
scalar.db.analytics.server.metering.storage.prefix=prod/
```

#### CLI クライアント設定`client.properties`
#### CLI クライアント設定 (`client.properties`)

```properties
scalar.db.analytics.client.server.host=analytics.example.com
scalar.db.analytics.client.server.tls.enabled=true
scalar.db.analytics.client.server.tls.ca_root_cert_path=/path/to/cert.pem
```

#### Spark 設定`spark-defaults.conf`
#### Spark 設定 (`spark-defaults.conf`)

```properties
spark.jars.packages com.scalar-labs:scalardb-analytics-spark-all-3.5_2.12:3.16.2
Expand All @@ -346,7 +348,7 @@ spark.sql.catalog.analytics.server.tls.ca_root_cert_path /path/to/cert.pem

## 次のステップ

- [カタログ管理](catalog-management.mdx) - カタログとデータソースの管理方法を学ぶ
- [分析クエリの実行](run-analytical-queries.mdx) - 設定でクエリの実行を開始
- [デプロイメントガイド](deployment.mdx) - 本番環境での ScalarDB Analytics のデプロイ
- [ScalarDB Analytics カタログの作成](./create-scalardb-analytics-catalog.mdx) - カタログの作成とデータソースの追加方法を学ぶ
- [ScalarDB Analytics を通じた分析クエリの実行](run-analytical-queries.mdx) - 設定でクエリの実行を開始
- [パブリッククラウド環境への ScalarDB Analytics のデプロイ](deployment.mdx) - 本番環境での ScalarDB Analytics のデプロイ

Loading