481.txt

[12] [DFN[[[CSV]]]] は、[[行]]の区切りに[[改行]]、
[[行]]内の[[列]]の区切りに [CODE[[[,]]]] を使った[[テキストファイル]]で[[表]]を表す[[データ形式]]です。

[17] 単純で古くから広く使われていた形式なので、実装ごとに様々なバリエーションがあります。
現在に至るまで広く共通して採用されている[[仕様]]は存在していません。

* 仕様書

[1] [[CSV]] の書式が [DFN[[[RFC 4180]]]] [SRC[>>24]] になりました。

[REFS[
- [24] [CITE@en[[[RFC 4180]] - Common Format and MIME Type for Comma-Separated Values (CSV) Files]] ([TIME[2016-01-08 20:01:55 +09:00]] 版) <http://tools.ietf.org/html/rfc4180>
- [46] [CITE[[[RFC Errata Report]] » [[RFC Editor]]]], [TIME[2020-12-21T04:07:52.000Z]] <https://www.rfc-editor.org/errata_search.php?rfc=4180>
- [16] [CITE@en[[[RFC 7111]] - URI Fragment Identifiers for the text/csv Media Type]]
([TIME[2014-01-27 23:43:58 +09:00]] 版)
<http://tools.ietf.org/html/rfc7111>
]REFS]

[22] しかし世間に無数に溢れる [[CSV]] のバリエーションの一つでしかなく、
世の中の [[CSV]] のすべてをカバーすることを目的にしたものでは無さそうで、
実際カバーできていません。

* TSV との関係

[18] [CODE[[[,]]]] のかわりに [[TAB]] を使った [[TSV]] もよく使われています。
それ以外の記号が使われることもあります。これらも広義の [[CSV]]
として扱われることもしばしばあります。

* バリエーション

[7] [[Excel]] は UTF-8 CSV 読めない。 UTF-16LE BOM つきなら読める。ただし明示的に , 区切りと指定しないと認識しない。

[27] [[RFC 4180]] は [[ABNF]] 構文で [[ASCII文字]]しか認めていません。
[CODE(MIME)@en[charset]] [[引数]]は規定していますが、特別な解釈は何も定義されていませんから、
[CODE(MIME)@en[charset]] [[引数]]に関わらず、結局使えるのは
[[ASCII文字]]だけです。

;; [28] [[RFC 4180]] は2005年出版で、どう考えても現実とは程遠い規定です。
[[IETF]] は[[ファンタジー]]世界か何かの[[標準化団体]]なのでしょうか。

[31] [CODE[\]] ([CODE[U+005C]]) を[[エスケープ]]に用いるバリエーションもありますが、
あまり普及していません [SRC[>>30]]。一方で、 [CODE[\]]
が[[円記号]]として使われることもあります。
[[CSV]] は[[価格]]を扱うことが、他のデータ形式よりは多そうです。
[[エスケープ]]とみなすかどうかで、実装によって解釈がかなり変わってくることになります。

[32] 最後に [CODE[END]] だけの[[行]]を置いて、データの末尾を示すことがあります。
[[列]]数に関わらず、 [CODE[,]] は使いません。
あまり一般的ではなく、対応していない実装ではデータの一部と解釈されることでしょう。

* データの解釈

[33] [[CSV]] から[[行]]と[[列]]のデータを取り出したとしても、
その解釈はまちまちです。

[34] 先頭行が[[見出し]]と解釈されるべきもののこともあれば、
そうでないこともあります。
[[見出し]]や、その他補足情報などで数行使うこともあります。

[35] 合計額等のまとめの行や注記事項などで終わりの数行を使うこともあります。

[36] 複数の行のまとまりが1つの [[CSV]] に含まれる場合、
まとまりの間に空行を置いたり、[[見出し]]や説明などをその間に挟んだりします。

** データ型

[47] 
[[CSV]] それ自体に[[データ型]]の仕組みはありません。
[[CSV]] の[[表]]形式データの[[こま]]として記述された[[文字列]]が、
いかに解釈されるかは[[応用]]依存です。

[48] 
実装によっては、
[[整数]]のように見えるものを[[整数型]]に、
[[小数]]のように見えるものを[[実数型]]に、
[[日時]]のように見えるものを[[日付型]]になどと自動的に解釈するものもあります。
特定[[アプリケーション]]の仕様としてならともかく、
汎用の[[ライブラリー]]なのにそのように決め打ちにしているものもあります。

[49] 
どのようなパターンなら各[[データ型]]とし、
どうなら[[文字列]]とみなすのかも、
実装によって様々です。

[50] 
[[CSV]] ファイルにそのまま書かれているか、 [CODE["]] 
で括って書かれているかによって挙動が変わる実装もあります。


* MIME型

[21] [[媒体型]]名は [CODE(MIME)@en[[[text/csv]]]] です。

** 引数

[2]

,[CODE(MIME)@en[[[charset]]]]	,[[IETF]] [[charset]]	,[CODE(charset)@en[[[US-ASCII]]]]	,[[charset]]	,[[IETF]] [[情報提供]]	,[[RFC 4180]]
,[CODE(MIME)@en[[[header]]]]	,[CODE(MIME)@en[[[present]]]] / [CODE(MIME)@en[[[absent]]]]	,(自動)	,[[見出し行]]の有無	,[[IETF]] [[情報提供]]	,[[RFC 4180]]

* 素片識別子

[25] [[素片識別子]]は [DFN[RFC 7111]] [SRC[>>16]] で規定されています。

[26] ほとんど使われておらず、実装もあまりありません。

- [9] [CITE[mhausenblas/addrable]]
( ([TIME[2014-04-24 23:35:59 +09:00]] 版))
<https://github.com/mhausenblas/addrable>
-- [51] [CITE@en[addrable/addrable_syntax.md at master · mhausenblas/addrable · GitHub]], [TIME[2020-12-21T04:16:15.000Z]] <https://github.com/mhausenblas/addrable/blob/master/doc/addrable_syntax.md>

[52] 別の提案

* 関連

[23] [[CVS]] と綴りが似ていてたまに混乱します。

* 歴史

** 素片識別子

[REFS[
- [13] [CITE@en[draft-hausenblas-csv-fragment-00 - URI Fragment Identifiers for the text/csv Media Type]]
([TIME[2011-08-08 08:53:47 +09:00]] 版)
<http://tools.ietf.org/html/draft-hausenblas-csv-fragment-00>
- [14] [CITE@en[draft-hausenblas-csv-fragment-03 - URI Fragment Identifiers for the text/csv Media Type]]
( ([TIME[2013-05-05 00:12:07 +09:00]] 版))
<http://tools.ietf.org/html/draft-hausenblas-csv-fragment-03>
- [15] <https://github.com/dret/I-D/tree/master/csv-fragment>
]REFS]

* メモ

[3] [CITE@ja[Comma-Separated Values - Wikipedia]]
( ([TIME[2012-08-06 00:45:41 +09:00]] 版))
<http://ja.wikipedia.org/wiki/Comma-Separated_Values>

[6] [CITE[XForms 2.0 - W3C XForms Group Wiki (Public)]]
( ([TIME[2013-12-13 00:30:35 +09:00]] 版))
<http://www.w3.org/MarkUp/Forms/wiki/XForms_2.0#External_CSV_values>

[8] [CITE@en[Model for Tabular Data and Metadata on the Web]]
( ([TIME[2014-03-22 14:38:26 +09:00]] 版))
<http://www.w3.org/TR/2014/WD-tabular-data-model-20140327/>


[10] [CITE[SPARQL 1.1 Query Results CSV and TSV Formats]]
( ([TIME[2013-03-21 20:27:53 +09:00]] 版))
<http://www.w3.org/TR/2013/REC-sparql11-results-csv-tsv-20130321/#general-comments>

[FIG(quote)[
[FIGCAPTION[
[19] [CITE@en[Model for Tabular Data and Metadata on the Web]]
([TIME[2015-12-03 19:28:42 +09:00]] 版)
<http://www.w3.org/TR/2015/REC-tabular-data-model-20151217/>
]FIGCAPTION]

> This definition of CSV used in this document is based on IETF's '''['''RFC4180''']''' which is an Informational RFC. The working group's expectation is that future suggestions to refine RFC 4180 will be relayed to the IETF (e.g. around encoding and line endings) and contribute to its discussions about moving CSV to the Standards track.

]FIG]


[FIG(quote)[
[FIGCAPTION[
[20] [CITE@en[Model for Tabular Data and Metadata on the Web]]
([TIME[2015-12-03 19:28:42 +09:00]] 版)
<http://www.w3.org/TR/2015/REC-tabular-data-model-20151217/#h-parsing>
]FIGCAPTION]

> This section describes an algorithm for parsing formats that do not adhere to the constraints described in section 7. Best Practice CSV, as well as those that do, and extracting embedded metadata.

]FIG]

[FIG(quote)[
[FIGCAPTION[
[29] [CITE@ja[Comma-Separated Values - Wikipedia]]
([TIME[2016-02-13 04:30:17 +09:00]] 版)
<https://ja.wikipedia.org/wiki/Comma-Separated_Values>
]FIGCAPTION]

> 類似したフォーマットとして、タブ区切りされた tab-separated values (TSV)や、半角スペース区切りされた space-separated values (SSV) などがあり、これらをまとめて character-separated values (CSV)、delimiter-separated values とも呼ばれることも多い。

]FIG]


[30] [CITE@ja[CSVファイルフォーマットの解説:CodeZine(コードジン)]]
([TIME[2016-03-15 17:17:19 +09:00]] 版)
<https://codezine.jp/article/detail/2364>

[37] [CITE@en[1048535 – Cross-origin info leak: '''[''''''['''get''']'''''']''' calls on global expose text (or CSV) sniffed as JS]]
([TIME[2016-07-26 21:12:02 +09:00]])
<https://bugzilla.mozilla.org/show_bug.cgi?id=1048535>

[FIG(quote)[
[FIGCAPTION[
[38] [CITE@en[REST API]]
( ([TIME[2016-02-27 07:16:28 +09:00]]))
<http://quasar-analytics.org/docs/restapi/>
]FIGCAPTION]

> text/csv	Comma-separated results. See Note below.
> Note: The formatting of CSV output can be controlled with an extended media type with parameters for columnDelimeter, quoteChar and escapeChar. For example:
> Accept: text/csv; columnDelimiter="|"&rowDelimiter=";"&quoteChar="'"&escapeChar="\".

]FIG]


[39] [CITE@en[Block additional "script" MIME types]]
([[evilpie]]著, [TIME[2016-08-30 02:51:43 +09:00]])
<https://github.com/whatwg/fetch/commit/2e85ceffe027fe97d56184c8a4fe6f11b5780193>

[FIG(quote)[
[FIGCAPTION[
[40] [CITE@ja[またすこし研究者の皆様へ | 衆議院議員 河野太郎公式サイト]]
([TIME[2016-12-01 16:25:52 +09:00]])
<http://www.taro.org/2016/11/%e3%81%be%e3%81%9f%e3%81%99%e3%81%93%e3%81%97%e7%a0%94%e7%a9%b6%e8%80%85%e3%81%ae%e7%9a%86%e6%a7%98%e3%81%b8.php>
]FIGCAPTION]

> 1. CSVを取得するまでに、いくつもの段階を踏まねばならず、一つのデータをダウンロードするのに大変な労力がかかる
> 2. 拡張子は確かにCSVだが、ファイルの中身はCSV形式ではなく、自動処理に適さない(具体例は3.4.)
> 3. 統計名などの表の値の意味をあらわすカラム名(=ヘッダー)ではない情報が先頭に付与されている
> 4. ヘッダー相当のデータが複数存在する
> 5. ヘッダー相当のデータに抜けが存在する
> 6. 数値が「”119,879.2″」のように、, を打たれたままになっている
> 7. 期の指定が「”1994000103″」のように、意味不明な数値な点、「1994-01-01 00:00:00」以上、「1994-04-01 00:00:00」未満の期間として記述するのが好ましい
> 8. 同じく日本語の期の指定が「”1994年1~3月期”」のように書かれており、7. と重複する情報となっているように思える、
> 9. CSV的に数値を “” で囲む表現は許容されるが、自動処理に当たっては、数値は “” で囲む表現をしない方がより良い
> 10. 全くの空白が続くデータの系列が存在している

]FIG]


[FIG(quote)[
[FIGCAPTION[
[41] [CITE@ja-JP[Excel で UTF‐8 の CSV を作成したい - マイクロソフト コミュニティ]]
( ([TIME[2017-01-27 15:25:59 +09:00]]))
<https://answers.microsoft.com/ja-jp/msoffice/forum/msoffice_excel-mso_winother/excel-%E3%81%A7-utf8-%E3%81%AE-csv/25d8bea2-f20c-4feb-9216-e06cb3bf0757>
]FIGCAPTION]

> 手元の PC で確認したところ、Excel 2010、2013 で '''['''名前を付けて保存''']''' > '''['''ファイルの種類 : CSV (カンマ区切り) (*.csv)''']''' で保存する時に、文字コードを選択することは出来ないようです。
> そのため、Excel の通常の操作だけで、文字コードが UTF-8 の CSV ファイルを作成するのは難しいかもしれません。
> 

]FIG]


[FIG(quote)[
[FIGCAPTION[
[42] [CITE@ja-JP[Windows 版 Excel 2016 の新機能 - Excel]]
( ([TIME[2017-01-27 15:28:33 +09:00]]))
<https://support.office.com/ja-jp/article/Windows-%e7%89%88-Excel-2016-%e3%81%ae%e6%96%b0%e6%a9%9f%e8%83%bd-5fdb9208-ff33-45b6-9e08-1f5cdb3a6c73?ui=ja-JP&rs=ja-JP&ad=JP>
]FIGCAPTION]

> 2016 年 10 月の更新プログラム
>  
> これについては、「Excel User Voice forum」 (Excel に関するユーザーの声フォーラム) でご要望がありました。UTF-8 文字エンコードを使用する CSV ファイルを開いて保存することができるようになりました。'''['''ファイル''']'''、'''['''名前を付けて保存''']'''、'''['''参照''']''' の順に進みます。次に、'''['''ファイルの種類''']''' メニューをクリックすると、'''['''CSV UTF-8 (コンマ区切り)''']''' の新しいオプションが表示されます。

]FIG]

[4] 公共料金その他で [[CSV]] を[[ダウンロード]]できるところは [[HTML]]
が [[UTF-8]] でも [[CSV]] だけ[[シフトJIS]]のところが未だに多いようですね。
[TIME[2018-01-03T06:44:11.900Z]]

[5] [CITE[Papa Parse - Powerful CSV Parser for JavaScript]]
([TIME[2019-09-17 21:15:57 +09:00]])
<https://www.papaparse.com/>

[11] [CITE@en[adaltas/node-csv: Full featured CSV parser with simple api and tested against large datasets.]]
([TIME[2019-10-07 09:27:39 +09:00]])
<https://github.com/adaltas/node-csv>

[43] [CITE@en[adaltas/node-csv-parse: CSV parsing implementing the Node.js `stream.Transform` API]]
([TIME[2019-10-07 09:29:05 +09:00]])
<https://github.com/adaltas/node-csv-parse>

[44] [CITE@en[okfn/csv.js: Simple, ultra-light (10kb) JS library for CSV parsing. Works in browser and node with zero dependencies.]]
([TIME[2019-10-07 09:31:15 +09:00]])
<https://github.com/okfn/csv.js/>

[45] [CITE@en[CSV Dialect]]
([TIME[2019-08-23 16:16:21 +09:00]])
<https://frictionlessdata.io/specs/csv-dialect/>

[53] [CITE@en[mholt/PapaParse: Fast and powerful CSV (delimited text) parser that gracefully handles large files and malformed input]]
([TIME[2021-01-12T05:14:34.000Z]])
<https://github.com/mholt/PapaParse>