html_attribute: markdown.searialiers の内部変数を一時的に変更して実体参照を適切に処理

これまでは self._markdown.serializer が使われていたが、serializer は何
故か実体参照のパターンに一致する & を & に変換せずにそのまま出力す
る仕様になっている [1]。これを用いてHTMLに戻すと例えば元々のHTMLソース
で &var; となっていたものが処理後のHTMLソースで不正な実体参照
&var; になってしまい、ブラウザで正しく表示されなくなる可能性がある。例
えば reference/memory/addressof.html でこれが起こっている [2]。さらに、
後段でHTMLを解釈して処理しようとしたときにクラッシュする。

xml.etree.ElementTree が etree.tostring(method="xml") で正当なHTMLへの
変換に対応しているが、これを用いると <td></td> などが <td /> になって
しまう。代わりに method="html" を使うと <br /> などが <br> になってし
まう。また、どちらの method の場合でも HTML 属性の順序が変わってしまう
ので好ましくない。

この実装では代わりに markdown.searializers の内部変数
markdown.searializers.RE_AMP を書き換えることによって期待する動作を得
ている。上流の markdown.searializers で実装の変更があると動かなくなる
可能性があることに注意する。

[1] https://github.com/Python-Markdown/markdown/blob/a11431539d08e14b0bd821ceb101fa59d6a74c8a/markdown/serializers.py#L69-L70
[2] https://github.com/cpprefjp/cpprefjp.github.io/blob/335489b522dcbb648c19a49e39cc880e187911a5/reference/memory/addressof.html#L263

Author: akinomyoga

html_attribute.py

@@ -9,6 +9,7 @@
 
 import markdown
 from markdown import postprocessors
+from markdown import serializers
 
 import xml.etree.ElementTree as etree
 
@@ -312,6 +313,32 @@ def _add_meta(self, element):
                 element.remove(e)
         element.append(body)
 
+    def _tohtml(self, element):
+        # Note: 以下の様に etree.tostring(method="xml") を用いると
+        # <span></span> や <td></td> が <span /> や <td /> になってしまう。また、
+        # HTML 属性の順序が保持されない。
+        #
+        # return etree.tostring(element, encoding="unicode", method="xml")
+
+        # Note: 代わりに etree.tostring(method="html") を用いると、今度は <img
+        # /> や <br /> が <img> や <br> になってしまい好ましくない。またこの時
+        # も HTML 属性の順序が保持されない。
+        #
+        # return etree.tostring(element, encoding="unicode", method="html")
+
+        # 今は代わりに以下のようにして markdown.serializers の内部変数
+        # markdown.serializers.RE_AMP を一時的に書き換えることによって期待する
+        # 動作を得ている。これは markdown.serializers の内部実装に依存している
+        # ので、markdown.serializers の上流で内部実装に変更があると動かなくなる
+        # 可能性があることに注意する。
+        old_RE_AMP = serializers.RE_AMP
+        try:
+            serializers.RE_AMP = re.compile(r'&')
+            output = self._markdown.serializer(element)
+        finally:
+            serializers.RE_AMP = old_RE_AMP
+        return output
+
     def run(self, text):
         text = '<{tag}>{text}</{tag}>'.format(tag=self._markdown.doc_tag, text=text)
         try:
@@ -328,7 +355,7 @@ def run(self, text):
         self._iterate(root, self._adjust_url)
         self._add_meta(root)
 
-        output = self._markdown.serializer(root)
+        output = self._tohtml(root)
         if self._markdown.stripTopLevelTags:
             try:
                 start = output.index('<%s>' % self._markdown.doc_tag) + len(self._markdown.doc_tag) + 2