379.txt

* Data Resource


[1] [CITE@en-US[Data Resource | Data Package (v1)]], [TIME[2024-01-29T13:09:50.000Z]], [TIME[2024-03-21T04:59:18.936Z]] <https://specs.frictionlessdata.io/data-resource/>

[2] 
[[Tabular Data Resource]]

[3] [CITE@en-US[Patterns | Data Package (v1)]], [TIME[2024-01-29T13:09:50.000Z]], [TIME[2024-03-21T05:06:40.676Z]] <https://specs.frictionlessdata.io/patterns/#json-data-resources>

- [6] [CITE[Data Packages — Open Data Protocols - Simple Open Standards for Open Data]], [TIME[2024-04-14T12:29:29.000Z]], [TIME[2013-07-27T18:26:20.582Z]] <https://web.archive.org/web/20130727182032/http://www.dataprotocols.org/en/latest/data-packages.html>

[7] >>6 この時代には [[Data Packages]] の一部として規定されていました。

- [8] [CITE@en[Data Package - CKAN]], [TIME[2024-04-14T12:30:08.000Z]], [TIME[2011-09-02T09:50:29.540Z]] <https://web.archive.org/web/20110902095023/http://wiki.ckan.net/Data_Package>

[9] >>8 ここまで遡ると urls としか書かれていなくてよくわかりません。

* CKAN 資源

[4] [[CKAN API]] における[[資源]]は [[Data Resource]] と縁戚関係にありますが、
まったく同じではありません。
[SEE[ [[CKANパッケージ]] ]]

[5] [[Data Resource]] は [[RFC 4627]] [[JSONオブジェクト]]でなければ[MUST[なりません]]。
[SRC[>>1]]
[[CKAN]] でも[[資源]]は [[JSONオブジェクト]]です。

[FIG(list members)[

:[F[[CODE[cache_last_update]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[cache_url]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[bytes]]]]:
[[Data Resource]] にあり、[[資源]]の[[バイト]]長とされます。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。かわりに [F[[CODE[size]]]] が使われます。
:[F[[CODE[created]]]]:
[[CKAN API]] で[[地方日時文字列]]が指定されていることがあります。
[[CKAN]] サイト上の「作成日」に当たります。
サイト日付との比較から、 [[UTC]] の[[日時]]であることがわかります。
:[F[[CODE[data]]]]:
[[Data Resource]] では [F[[CODE[path]]]] と選択的な[MUST[必須]]とされています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[data_crs]]]]
[[GKAN]]
で[[空文字列]]のことがあります。
:[F[[CODE[datastore_active]]]]:
[[CKAN API]] で [CODE[1]] が指定されていることがあります。
:[F[[CODE[description]]]]:
[[Data Resource]] にあり、[[資源]]の説明とされます。 [SRC[>>1]]
[[CKAN API]] では[[人間可読]]の説明文に使われています。
:[F[[CODE[encoding]]]]:
[[Data Resource]] にあり、[[資源]]の[[文字符号化]]を表します。
値は[[IANA charset]]で、省略時の既定値は [[UTF-8]] です。 [SRC[>>1]]
しかし処理方法の規定がなく、 
[F[[CODE[mediatype]]]]
との相互作用などは不明です。
[[CKAN API]] では[[空文字列]]のこと,
[CODE[utf-8]] ([F[[CODE[mimetype]]]] = [CODE[text/csv]])
のことがあります。
:[F[[CODE[format]]]]:
[[Data Resource]] では[[資源]]の型の標準的な[[ファイル拡張子]]が期待されるとなっています。
[CODE[csv]], [CODE[xls]], [CODE[json]] が例示されています。 [SRC[>>1]]
[[CKAN API]] では[[空文字列]],
[CODE[CSV]],
[CODE[GeoJSON]],
[CODE[HTML]]
のような値が使われています (>>10)。
[F[[CODE[format]]]] が[[空文字列]]かつ
[F[[CODE[mimetype]]]]
が [CODE[null]]
のこともあります。
:[F[[CODE[hash]]]]:
[[Data Resource]] にあり、[[資源]]の[[MD5]]ハッシュを表すとされます。
しかし他の[[算法]]も[[算法]]名の[[小文字]]をハッシュ値の前に付けることで使えるとされます。
実例として、 [CODE[sha1:]] の後に[[十六進数]]列を続けた、[[SHA-1]] ハッシュ値と思われるものが示されています。
[SRC[>>1]]
[[CKAN API]] では[[空文字列]]が指定されていることがあります。
:[F[[CODE[id]]]]:
[[CKAN API]] で [[UUID]] が指定されていることがあります。
:[F[[CODE[last_modified]]]]:
[[Data Packages]] 時代の[[資源]]にあり、[[資源]]の[[最終修正時刻]]を
[[ISO 8601]]
形式 (具体的には不明) で表すとされていました。 [SRC[>>1]]
[[CKAN API]] では[[空文字列]]のことがあります。
[[GKAN]] では
[CODE[null]]
や[[地方日時文字列]]のことがあります。
[F[[CODE[created]]]] より[[秒の小数部]]単位で微妙に古いことがあります。
:[F[[CODE[licenses]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[mediatype]]]]:
[[Data Resource]] にあり、[[資源]]の[[MIME型]]を表すとされます。 [SRC[>>1]]
[[引数]]が指定できるのかは不明です。
[[CKAN API]] での利用は未見です。
:[F[[CODE[metadata_modified]]]]:
[[CKAN API]]
で[[地方日時文字列]]が指定されていることがあります。
指定されないこともあります。
[[CKAN]] サイト上の「メタデータ最終更新日」に当たります。
サイト日付との比較から、 [[UTC]] の[[日時]]であることがわかります。
:[F[[CODE[metadata_type]]]]:
[[GKAN]] の [[CKAN API]]
で[[空文字列]]のことがあります。
:[F[[CODE[mimetype]]]]:
[[CKAN API]] で [CODE[null]] や
[[MIME型]]が指定されていることがあります。
かわりに [F[[CODE[format]]]] に[[文字列]]が指定されていることも、
両方が指定されていることもあります。
(>>10)
:[F[[CODE[mimetype_inner]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
:[F[[CODE[name]]]]:
[[Data Resource]]
では[[資源]]の名前あるいは識別子を指定することになっており、
[MUST[必須]]とされています。
[[ASCII小文字]]等のみで構成され、普通は[[ファイル名]]の[[拡張子]]以外の部分になるとされています。
[[Data Package]] 内で固有の値でなければ[MUST[なりません]]。
[SRC[>>1]]
実際の [[CKAN API]] ではこれらの制約は適用されていないように見えます。
[[人間可読]]な[[資源]]の短い説明が入っていることが多いようです。
[[拡張子]]つきのファイル名 ([[非ASCII文字]]を含む。)
が入っていることもあります。
:[F[[CODE[openspending_hint]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[package_id]]]]:
[[CKAN API]] で [[CKANパッケージ]]の [F[[CODE[id]]]] が指定されていることがあります。
:[F[[CODE[path]]]]:
[[Data Resource]] では [F[[CODE[data]]]] と選択的な[MUST[必須]]とされ、
[[url-or-path]]
またはその[[配列]]を指定することになっています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[position]]]]:
[[CKAN API]] で [[CKANパッケージ]]の [F[[CODE[resources]]]]
[[配列]]における[[索引]] ([[0はじまり]]) の[[整数]]が指定されていることがあります。
:[F[[CODE[profile]]]]:
[[Data Resource]] にあり、指定が推奨されています。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[resource_group_id]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[resource_type]]]]:
[[CKAN API]] で [CODE[null]],
[[文字列]] [CODE[image/jpeg]]
が指定されていることがあります。
:[F[[CODE[revision_id]]]]:
[[CKAN API]] で [[UUID]] が指定されていることがあります。
[F[[CODE[id]]]] とは違う値です。
:[F[[CODE[schema]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[size]]]]:
[[CKAN API]] で[[整数]]が指定されていることがあります。
[[資源]]の[[バイト]]長と思われます。
[CODE[null]]
のこともあります。
:[F[[CODE[state]]]]:
[[CKAN API]] で [CODE["active"]] が指定されていることがあります。
:[F[[CODE[sources]]]]:
[[Data Resource]] にあります。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
:[F[[CODE[title]]]]:
[[Data Resource]] にあり、[[資源]]の題名や名札を表します。 [SRC[>>1]]
[[CKAN API]] での利用は未見です。
[F[[CODE[name]]]] がこれに相当する意味で使われています。
:[F[[CODE[url]]]]:
[[Data Packages]] 時代の[[資源]]にあり、[[資源]]の [[URL]]
とされていました。 [SRC[>>1]]
[[CKAN API]] では[[資源]]の[[絶対URL]] ([[HTTP(S) URL]], [CODE[data:]]) が入っています。
[[素片識別子]]付きの[[絶対URL]]が入っていることがあり、
[[HTML]] ファイルの一部分を[[資源]]とみなしているようです。
そのような[[CKANパッケージ]]には、
[[素片識別子]]以外が同じで[[素片識別子]]だけが違う [[URL]]
が指定された[[CKAN資源]]がいくつか入っている場合があるようです。
[[URL]] にアクセスすると[[HTTPリダイレクト]]が返される場合があります。
[[空文字列]]になることがあり、ダウンロード可能なファイルがないことを表しているようです。
[[GKAN]] では [F[[CODE[format]]]] が [CODE[XYZ]]
のとき、
[F[[CODE[url]]]] に[[絶対URL]]に [CODE[{x}]], [CODE[{y}]], [CODE[{z}]]
が入った[[URL雛形]]のことがあります。
:[F[[CODE[url_type]]]]:
[[CKAN API]] で [CODE[null]] が指定されていることがあります。
[[文字列]]
[CODE[upload]] ([F[[CODE[url]]]] が [[CKAN]] システム管理のファイルであることを表す?)
のことがあります。
:[F[[CODE[webstore_last_updated]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。
:[F[[CODE[webstore_url]]]]:
[[CKAN API]] で [CODE["None"]] が指定されていることがあります。



]FIG]


[11] 
[F[[CODE[size]]]] が [CODE[null]] で実際にはギガバイト級で、
説明文に人間向けにはそのことが書いてあるみたいな厄介なケースが...
[TIME[2024-04-17T13:44:23.600Z]]

[12] >>11 どうやら [[CKAN]] にアップロードされたファイル ([F[[CODE[url_type]]]] = [CODE[upload]])
だと自動で [F[[CODE[size]]]] が付き、外部の [[URL]] を登録した場合にはそれがつかないらしい。

** MIME 型


[10] 
ファイル形式の指定例

[FIG(table)[

:f:[F[[CODE[format]]]]
:m:[F[[CODE[mimetype]]]]
:h:[F[[CODE[url]]]] の [[HTTP]] [CODE[Content-Type]]
:note:メモ
:p: より適切な [[MIME型]]

:f: [CODE[application/postscript]]
:h: [CODE[application/postscript]]
:m: [CODE[application/postscript]]
:note: [CODE[.ai]]。
:p: [CODE[application/illustrator]]

:f: [CODE[ai]]
:m: [CODE[application/postscript]]
:note: [CODE[.ai]]。
:p:[CODE[application/illustrator]]

:f: [CODE[BVF]]
:h: [CODE[application/zip]]
:m: [CODE[application/zip]]
:note:
[[ZIP]] ファイルに入った [[BVF]] ファイル。
これを [CODE[BVF]] というのは適切ではないが...
:p:[CODE[application/bvf+zip]]

:f: [CODE[CSV]]
:m:[CODE[text/csv]]
:h:[CODE[text/csv]]

:f: [CODE[CSV]]
:m: [CODE[text/csv; charset=utf-8]]

:f: [CODE[CSV]]
:h: [CODE[text/csv;charset=UTF-8]]

:f: [CODE[CSV]]
:m:[CODE[text/csv]]
:h: [CODE[application/octet-stream]]

:f: [CODE[.csv]]
:m:[CODE[text/csv]]
:h:[CODE[text/csv]]

:f: [[空文字列]]
:h: [CODE[application/octet-stream]]

:f: [CODE[csv]]
:note:[SRC[>>1]] 実例未見

:f: [CODE[dBase]]
:m: [CODE[application/vnd.dbf]]
:note:
[[シェイプファイル]]形式を構成する
[[DBF]] ファイル。
[CODE[application/vnd.dbf]]
はその意味。
[[DBF]] ファイルの実態は
[[dBASE]] 形式のデータベースファイル。
[CODE[dBase]] と呼ぶのは誤ってはいないが最適でもない。

:f: [CODE[application/vnd.oma.drm.message]]
:m: [CODE[application/vnd.oma.drm.message]]
:h: [CODE[application/vnd.oma.drm.message]]
:note:
[[DM]] ([[国土交通省]]の[[数値地図]]ファイル形式)。
[CODE[application/vnd.oma.drm.message]]
は[[拡張子]]衝突の別形式
[WEAK[([[CKAN]] で使われるとは考えられず、読み替えるべき)]]。
:p:[CODE[application/dm]]

:f:[CODE[dm]]
:h: [CODE[application/octet-stream]]
:note:
[[DM]] ([[国土交通省]]の[[数値地図]]ファイル形式)。
:p:[CODE[application/dm]]


:h:[CODE[application/octet-stream]]
:f: [CODE[image/vnd.dxf]]

:f: [CODE[dxf]]
:m:[CODE[image/vnd.dxf]]
:h:[CODE[image/vnd.dxf]]

:f: [CODE[XLSX]]

:f: [CODE[XLSX]]
:h: [CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]

:f:[CODE[XLSX]]
:m:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:h:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]

:f: [CODE[XLSX]]
:m: [CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:h: [CODE[application/octet-stream]]

:f: [CODE[[ASIS[xlsx][全角]]]]
:m:[CDDE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:h:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]

:f:[CODE[XLSX]]
:m:[CODE[application/vnd.ms-excel]]
:p:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]
:note:誤りとは言い切れないが最適ではない。

:f: [CODE[XLSX]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]
:note: [CODE[XLSX]] が正しい
[WEAK[([[xlsx]] の実態は[[ZIP]])]]
:p:[CODE[application/vnd.openxmlformats-officedocument.spreadsheetml.sheet]]

:f: [CODE[.xls]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]
:note:
[[XLSX]]?

:f: [CODE[.xls]]
:m: [CODE[application/vnd.ms-excel]]
:h: [CODE[application/vnd.ms-excel]]

:f: [CODE[XLS]]
:m: [CODE[application/vnd.ms-excel]]
:h: [CODE[application/vnd.ms-excel]]

:f: [CODE[xls]]
:note:[SRC[>>1]] 実例未見

:f: [CODE[XLSM]]
:m: [CODE[application/vnd.ms-excel.sheet.macroEnabled.12]]
:h: [CODE[application/vnd.ms-excel.sheet.macroEnabled.12]]


:f:[CODE[GeoJSON]]
:m:[CODE[application/geo+json]]
:h:[CODE[application/geo+json]]

:f:[CODE[GeoJSON]]
:m:[CODE[application/json]]
:h:[CODE[application/json]]
:p:[CODE[application/geo+json]]

:f: [CODE[GeoJSON]]
:h: [CODE[application/json;charset=UTF-8]]
:p:[CODE[application/geo+json]]

:f: [CODE[GIF]]
:h: [CODE[image/gif]]
:m: [CODE[image/gif]]

:f: [CODE[gml]]
:h:[CODE[application/zip]]
:m:[CODE[application/zip]]
:note:[[GML]]ファイルの入った [[ZIP]]。

:f:[CODE[GTFS]]
:h:[CODE[application/zip]]
:m:[CODE[application/zip]]
:p:[CODE[application/zip]] ([[GTFS]])

:f:[CODE[GTFS-JP]]
:h:[CODE[application/zip]]
:m:[CODE[application/zip]]
:p:[CODE[application/zip]] ([[GTFS]] ([[GTFS-JP]]))

:f:[CODE[gtfs-jp]]
:h:[CODE[application/zip]]
:m:[CODE[application/zip]]
:p:[CODE[application/zip]] ([[GTFS]] ([[GTFS-JP]]))

:f: [CODE[GTFS/GTFS-JP]]
:h:[CODE[application/zip]]
:m:[CODE[application/zip]]
:p:[CODE[application/zip]] ([[GTFS]] ([[GTFS-JP]]))

:f: [CODE[HTML]]
:h:[CODE[text/html]]
:m:[CODE[text/html]]

:f: [CODE[JPEG]]
:m: [CODE[image/jpeg]]
:h: [CODE[image/jpeg]]

:f: [CODE[JPEG]]
:m: [CODE[image/jpeg]]
:h: [CODE[image/jpeg]]
:note:[F[[CODE[resource_type]]]] [CODE[image/jpeg]]

:f: [CODE[JSON]]
:m: [CODE[application/json]]
:h: [CODE[[[application/json]]; [[charset]]=[[utf-8]]]]

:f: [CODE[json]] 
:note:[SRC[>>1]] 実例未見


:f: [CODE[KML]]
:m: [CODE[application/vnd.google-earth.kml+xml]]
:h: [CODE[application/vnd.google-earth.kml+xml]]

:f: [CODE[KML]]
:m:[CODE[application/zip]]
:h:[CODE[application/zip]]
:note:[[KML]] ファイルの入った [[ZIP]]。 [[KMZ]] (とも限らない?)
:p:[CODE[application/vnd.google-earth.kmz]]

:f: [CODE[MP3]]
:h: [CODE[audio/mpeg]]

:f: [CODE[MP4]]
:h: [CODE[video/mp4]]

:f: [CODE[MP4]]
:h: [CODE[video/mp4]]
:m: [CODE[video/mp4]]

:f: [CODE[mp4]]
:m: [CODE[video/mp4]]

:f: [CODE[[ASIS[mp4][全角]]]]
:h: [CODE[video/mp4]]
:m: [CODE[video/mp4]]

:f: [CODE[PDF]]
:m:[CODE[application/pdf]]
:h:[CODE[application/pdf]]

:f: [CODE[.pdf]]
:m:[CODE[application/pdf]]
:h:[CODE[application/pdf]]

:f: [CODE[PNG]]
:m: [CODE[image/png]]
:h: [CODE[image/png]]

:f: [CODE[RDF]]
:m: [CODE[application/rdf+xml]]
:h: [CODE[application/rdf+xml]]

:f: [CODE[RDF]]
:h: [CODE[text/xml]]
:p: [CODE[application/rdf+xml]]

:f: [CODE[PPTX]]
:m: [CODE[application/vnd.openxmlformats-officedocument.presentationml.presentation]]
:h: [CODE[application/octet-stream]]

:f: [CODE[PPTX]]
:m: [CODE[application/vnd.openxmlformats-officedocument.presentationml.presentation]]

:f: [CODE[PPT]]
:m: [CODE[application/vnd.ms-powerpoint]]

:f: [CODE[DOCX]]
:m: [CODE[application/vnd.openxmlformats-officedocument.wordprocessingml.document]]
:h: [CODE[application/octet-stream]]

:f: [CODE[sfc]]
:h: [CODE[application/vnd.nintendo.snes.rom]]

:f: [CODE[SHP]]
:m: [CODE[application/zip]]
:h: [CODE[application/x-zip-compressed]]

:f: [CODE[SHP]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]

:f: [CODE[shape]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]


:f: [CODE[SHP]]
:m: [CODE[application/x-qgis]]

:f: [CODE[SHP-ZIP]]
:h: [CODE[application/zip]]

:f: [CODE[shx]]
:m: [CODE[application/x-qgis]]

:f: [CODE[TopoJSON]]
:h: [CODE[application/json]]
:m: [CODE[application/json]]

:f: [CODE[TXT]]
:h: [CODE[text/plain]]
:m: [CODE[text/plain]]

:f: [CODE[DOCX]]
:m: [CODE[application/vnd.openxmlformats-officedocument.wordprocessingml.document]]
:h: [CODE[application/vnd.openxmlformats-officedocument.wordprocessingml.document]]

:f: [CODE[DOC]]
:h: [CODE[application/msword]]

:f: [CODE[DOC]]
:h: [CODE[application/msword]]
:m:[CODE[application/msword]]

:f: [CODE[XML]]

:f: [CODE[ZIP]]
:h: [CODE[application/zip]]

:f: [CODE[ZIP]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]

:f: [CODE[ZIP]]
:m: [CODE[application/zip]]
:h: [CODE[application/octet-stream]]

:f: [[空文字列]]
:m: [CODE[application/zip]]
:h: [CODE[application/zip]]


:f: [CODE[text/markdown]]
:h: [CODE[text/markdown]]
:note:[F[[CODE[url]]]] が [CODE[data:]] で
[F[[CODE[description]]]] と同文

:f: [CODE[XYZ]]


]FIG]

[14] 
[[MIME型]]というものは[[インターネットメール]]でも [[Web]] でもあまりまともに使われていないのですけど、
[[CKAN]] でもかなり酷いですね...

[15] 
[F[[CODE[format]]]] と [F[[CODE[mimetype]]]] と [F[[CODE[url]]]] の [[HTTP]]
[CODE[Content-Type]]
と、3つもあって、しかもそのどれが信じられるともいえないところがまた...


[13] [F[[CODE[url_type]]]] が [CODE[upload]] だからといって
[F[[CODE[mimetype]]]] と [[HTTP]] [CODE[Content-Type]] が一致するとは限らないらしい。


[16] 
[F[[CODE[format]]]] に[[全角英字]]が入っているところは手入力してるの???

[17] 
[[ZIP]] の場合、多くは [F[[CODE[format]]]] も [[ZIP]] にしているが、
たまに中身のファイル形式を書いていることもある。
ややこしいのは便宜上 [[ZIP]] 圧縮しているだけでなく、業界慣習的に
[[ZIP]] に入れて配布する[[事実上の標準]]が成立しているファイル形式もあるっぽいところで。
その場合確かに [[ZIP]] と書くよりファイル形式を書いてくれた方が嬉しい、
ただし中身のファイル形式ではなく「中身+ZIP」と書く方が正確なのだろうけど、
そんな書き方は誰もしていなくて...


* メモ