-
Notifications
You must be signed in to change notification settings - Fork 4
/
379.txt
278 lines (231 loc) · 11.6 KB
/
379.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
* Data Resource
[1] [CITE@en-US[Data Resource | Data Package (v1)]], [TIME[2024-01-29T13:09:50.000Z]], [TIME[2024-03-21T04:59:18.936Z]] <https://specs.frictionlessdata.io/data-resource/>
[2]
[[Tabular Data Resource]]
[3] [CITE@en-US[Patterns | Data Package (v1)]], [TIME[2024-01-29T13:09:50.000Z]], [TIME[2024-03-21T05:06:40.676Z]] <https://specs.frictionlessdata.io/patterns/#json-data-resources>
- [6] [CITE[Data Packages — Open Data Protocols - Simple Open Standards for Open Data]], [TIME[2024-04-14T12:29:29.000Z]], [TIME[2013-07-27T18:26:20.582Z]] <https://web.archive.org/web/20130727182032/http://www.dataprotocols.org/en/latest/data-packages.html>
[7] >>6 この時代には [[Data Packages]] の一部として規定されていました。
- [8] [CITE@en[Data Package - CKAN]], [TIME[2024-04-14T12:30:08.000Z]], [TIME[2011-09-02T09:50:29.540Z]] <https://web.archive.org/web/20110902095023/http://wiki.ckan.net/Data_Package>
[9] >>8 ここまで遡ると urls としか書かれていなくてよくわかりません。
* CKAN 資源
[4] [[CKAN API]] における[[資源]]は [[Data Resource]] と縁戚関係にありますが、
まったく同じではありません。
[SEE[ [[CKANパッケージ]] ]]
[5] [[Data Resource]] は [[RFC 4627]] [[JSONオブジェクト]]でなければ[MUST[なりません]]。
[SRC[>>1]]
[[CKAN]] でも[[資源]]は [[JSONオブジェクト]]です。
[FIG(list members)[
:[F[[CODE[cache_last_update]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[cache_url]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[bytes]]]]:
[[Data Resource]] にあり、[[資源]]の[[バイト]]長とされます。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。かわりに [F[[CODE[size]]]] が使われます。
:[F[[CODE[created]]]]:
[[CKAN API]] で[[地方日時文字列]]が指定されていることがあります。
[[CKAN]] サイト上の「作成日」に当たります。
サイト日付との比較から、 [[UTC]] の[[日時]]であることがわかります。
:[F[[CODE[data]]]]:
[[Data Resource]] では [F[[CODE[path]]]] と選択的な[MUST[必須]]とされています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[data_crs]]]]
[[GKAN]]
で[[空文字列]]のことがあります。
:[F[[CODE[datastore_active]]]]:
[[CKAN API]] で [CODE[1]] が指定されていることがあります。
:[F[[CODE[description]]]]:
[[Data Resource]] にあり、[[資源]]の説明とされます。 [SRC[>>1]]
[[CKAN API]] では[[人間可読]]の説明文に使われています。
:[F[[CODE[encoding]]]]:
[[Data Resource]] にあり、[[資源]]の[[文字符号化]]を表します。
値は[[IANA charset]]で、省略時の既定値は [[UTF-8]] です。 [SRC[>>1]]
しかし処理方法の規定がなく、
[F[[CODE[mediatype]]]]
との相互作用などは不明です。
[[CKAN API]] での利用は未見です。
:[F[[CODE[format]]]]:
[[Data Resource]] では[[資源]]の型の標準的な[[ファイル拡張子]]が期待されるとなっています。
[CODE[csv]], [CODE[xls]], [CODE[json]] が例示されています。 [SRC[>>1]]
[[CKAN API]] では[[空文字列]],
[CODE[CSV]],
[CODE[GeoJSON]],
[CODE[HTML]]
のような値が使われています (>>10)。
[F[[CODE[format]]]] が[[空文字列]]かつ
[F[[CODE[mimetype]]]]
が [CODE[null]]
のこともあります。
:[F[[CODE[hash]]]]:
[[Data Resource]] にあり、[[資源]]の[[MD5]]ハッシュを表すとされます。
しかし他の[[算法]]も[[算法]]名の[[小文字]]をハッシュ値の前に付けることで使えるとされます。
実例として、 [CODE[sha1:]] の後に[[十六進数]]列を続けた、[[SHA-1]] ハッシュ値と思われるものが示されています。
[SRC[>>1]]
[[CKAN API]] では[[空文字列]]が指定されていることがあります。
:[F[[CODE[id]]]]:
[[CKAN API]] で [[UUID]] が指定されていることがあります。
:[F[[CODE[last_modified]]]]:
[[Data Packages]] 時代の[[資源]]にあり、[[資源]]の[[最終修正時刻]]を
[[ISO 8601]]
形式 (具体的には不明) で表すとされていました。 [SRC[>>1]]
[[CKAN API]] では[[空文字列]]のことがあります。
[[GKAN]] では
[CODE[null]]
や[[地方日時文字列]]のことがあります。
[F[[CODE[created]]]] より[[秒の小数部]]単位で微妙に古いことがあります。
:[F[[CODE[licenses]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[mediatype]]]]:
[[Data Resource]] にあり、[[資源]]の[[MIME型]]を表すとされます。 [SRC[>>1]]
[[引数]]が指定できるのかは不明です。
[[CKAN API]] での利用は未見です。
:[F[[CODE[metadata_modified]]]]:
[[CKAN API]]
で[[地方日時文字列]]が指定されていることがあります。
指定されないこともあります。
[[CKAN]] サイト上の「メタデータ最終更新日」に当たります。
サイト日付との比較から、 [[UTC]] の[[日時]]であることがわかります。
:[F[[CODE[metadata_type]]]]:
[[GKAN]] の [[CKAN API]]
で[[空文字列]]のことがあります。
:[F[[CODE[mimetype]]]]:
[[CKAN API]] で [CODE[null]] や
[[MIME型]]が指定されていることがあります。
かわりに [F[[CODE[format]]]] に[[文字列]]が指定されていることも、
両方が指定されていることもあります。
(>>10)
:[F[[CODE[mimetype_inner]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[name]]]]:
[[Data Resource]]
では[[資源]]の名前あるいは識別子を指定することになっており、
[MUST[必須]]とされています。
[[ASCII小文字]]等のみで構成され、普通は[[ファイル名]]の[[拡張子]]以外の部分になるとされています。
[[Data Package]] 内で固有の値でなければ[MUST[なりません]]。
[SRC[>>1]]
実際の [[CKAN API]] ではこれらの制約は適用されていないように見えます。
[[人間可読]]な[[資源]]の短い説明が入っていることが多いようです。
[[拡張子]]つきのファイル名 ([[非ASCII文字]]を含む。)
が入っていることもあります。
:[F[[CODE[openspending_hint]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[package_id]]]]:
[[CKAN API]] で [[CKANパッケージ]]の [F[[CODE[id]]]] が指定されていることがあります。
:[F[[CODE[path]]]]:
[[Data Resource]] では [F[[CODE[data]]]] と選択的な[MUST[必須]]とされ、
[[url-or-path]]
またはその[[配列]]を指定することになっています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[position]]]]:
[[CKAN API]] で [[CKANパッケージ]]の [F[[CODE[resources]]]]
[[配列]]における[[索引]] ([[0はじまり]]) の[[整数]]が指定されていることがあります。
:[F[[CODE[profile]]]]:
[[Data Resource]] にあり、指定が推奨されています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[resource_group_id]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[resource_type]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[revision_id]]]]:
[[CKAN API]] で [[UUID]] が指定されていることがあります。
[F[[CODE[id]]]] とは違う値です。
:[F[[CODE[schema]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[size]]]]:
[[CKAN API]] で[[整数]]が指定されていることがあります。
[[資源]]の[[バイト]]長と思われます。
[CODE[null]]
のこともあります。
:[F[[CODE[state]]]]:
[[CKAN API]] で [CODE["active"]] が指定されていることがあります。
:[F[[CODE[sources]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[title]]]]:
[[Data Resource]] にあり、[[資源]]の題名や名札を表します。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
[F[[CODE[name]]]] がこれに相当する意味で使われています。
:[F[[CODE[url]]]]:
[[Data Packages]] 時代の[[資源]]にあり、[[資源]]の [[URL]]
とされていました。 [SRC[>>1]]
[[CKAN API]] では[[資源]]の[[絶対URL]] ([[HTTP(S) URL]], [CODE[data:]]) が入っています。
[[素片識別子]]付きの[[絶対URL]]が入っていることがあり、
[[HTML]] ファイルの一部分を[[資源]]とみなしているようです。
そのような[[CKANパッケージ]]には、
[[素片識別子]]以外が同じで[[素片識別子]]だけが違う [[URL]]
が指定された[[CKAN資源]]がいくつか入っている場合があるようです。
[[空文字列]]になることがあり、ダウンロード可能なファイルがないことを表しているようです。
[[GKAN]] では [F[[CODE[format]]]] が [CODE[XYZ]]
のとき、
[F[[CODE[url]]]] に[[絶対URL]]に [CODE[{x}]], [CODE[{y}]], [CODE[{z}]]
が入った[[URL雛形]]のことがあります。
:[F[[CODE[url_type]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
[[文字列]]
[CODE[upload]] ([F[[CODE[url]]]] が [[CKAN]] システム管理のファイルであることを表す?)
のことがあります。
:[F[[CODE[webstore_last_updated]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[webstore_url]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
]FIG]
[10]
ファイル形式の指定例
[FIG(table)[
:f:[F[[CODE[format]]]]
:m:[F[[CODE[mimetype]]]]
:h:[F[[CODE[url]]]] の [[HTTP]] [CODE[Content-Type]]
:note:メモ
:f: [CODE[CSV]]
:f: [CODE[CSV]]
:m:[CODE[text/csv]]
:h:[CODE[text/csv]]
:f: [CODE[csv]]
:note:[SRC[>>1]] 実例未見
:f: [CODE[XLSX]]
:f:[CODE[XLSX]]
:m:[CODE[application/vnd.ms-excel]]
:f:[CODE[XLSX]]
:m:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:h:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:f: [CODE[XLSX]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]
:note: [CODE[XLSX]] が正しい
[WEAK[([[xlsx]] の実態は[[ZIP]])]]
:f: [CODE[xls]]
:note:[SRC[>>1]] 実例未見
:f:[CODE[GeoJSON]]
:f:[CODE[GeoJSON]]
:m:[CODE[application/geo+json]]
:h:[CODE[application/geo+json]]
:f: [CODE[JPEG]]
:m: [CODE[image/jpeg]]
:h: [CODE[image/jpeg]]
:f: [CODE[JSON]]
:f: [CODE[JSON]]
:m: [CODE[application/json]]
:h: [CODE[[[application/json]]; [[charset]]=[[utf-8]]]]
:f: [CODE[json]]
:note:[SRC[>>1]] 実例未見
:f: [CODE[HTML]]
:f: [CODE[PDF]]
:m:[CODE[application/pdf]]
:h:[CODE[application/pdf]]
:f: [CODE[XML]]
:f: [CODE[ZIP]]
:f: [CODE[text/markdown]]
:h: [CODE[text/markdown]]
:note:[F[[CODE[url]]]] が [CODE[data:]] で
[F[[CODE[description]]]] と同文
:f: [CODE[XYZ]]
]FIG]
[11]
[F[[CODE[size]]]] が [CODE[null]] で実際にはギガバイト級で、
説明文に人間向けにはそのことが書いてあるみたいな厄介なケースが...
[TIME[2024-04-17T13:44:23.600Z]]
[12] >>11 どうやら [[CKAN]] にアップロードされたファイル ([F[[CODE[url_type]]]] = [CODE[upload]])
だと自動で [F[[CODE[size]]]] が付き、外部の [[URL]] を登録した場合にはそれがつかないらしい。
* メモ