モザイクパターンにつき、パターンごとにスタイルの調査

[huhudev-git]

あらすじ

現在モザイククラスは下のように設計している

tus-image-project/pixelate/mosaic_style/abstract_mosaic_style.py

Lines 4 to 10 in ad5f038

	class AbstructMosaicStyle(abc.ABC):
	"""モザイクパターンのスタイルパラメータ
	"""
	@abc.abstractclassmethod
	def from_json(cls, json_data):
	return cls()

tus-image-project/pixelate/models/image.py

Lines 3 to 9 in ad5f038

	class Image():
	def __init__(self, image_data: bytes):
	self.data = image_data
	def get_size(self):
	pass

tus-image-project/pixelate/models/position.py

Lines 2 to 8 in ad5f038

	class Position():
	def __init__(self, startX: int, startY: int, endX: int, endY: int) -> None:
	self.startX = startX
	self.startY = startY
	self.endX = endX
	self.endY = endY

tus-image-project/pixelate/mosaic_filter/abstract_mosaic_filter.py

Lines 9 to 26 in ad5f038

	class AbstractMosaicFilter(abc.ABC):
	# フロントエンドのほうのモザイクパターンの名前
	name = None
	@abc.abstractmethod
	def process(self, image: Image, style: AbstructMosaicStyle, positions: List[Position]) -> bytes:
	'''写真を処理し、モザイクをつけた写真を返す
	Args:
	image (bytes): アップロードした写真
	style (Any): モザイクのスタイル
	positions (List[Position]): 顔認識の位置
	Returns:
	bytes: モザイクをつけた写真
	'''
	pass

そこで、具体的なFilterは三パターンある

• EyesLineMosaicFilter
• GaussBlurMosaicFilter
• PixelBlurMosaicFilter

それぞれのパタ―ンについて、スタイルは異なる、例えば：線の厚さ、ガウスの強さ、ピクセルの大きさなど
Filterごとに必要なスタイルをまとめて、整理する必要がある。 整理したスタイルは、以下のように実装する予定です

tus-image-project/pixelate/mosaic_style/abstract_mosaic_style.py

Lines 4 to 10 in ad5f038

	class AbstructMosaicStyle(abc.ABC):
	"""モザイクパターンのスタイルパラメータ
	"""
	@abc.abstractclassmethod
	def from_json(cls, json_data):
	return cls()

[k1105]

ぼかしフィルター＝ガウスぼかしについて。
改めてガウスぼかしについて調べたところ、ガウスぼかしは一般的に、「ノイズ除去」を目的とした処理に使われ、ぼかしの強度を上げてもエッジが残りやすい性質があるみたい（畳み込み演算を行うとき、注目画素付近の重みが大きいため）。
今回の目的は平滑化を通して「顔を隠す」ことにあるため、平均フィルタを用いる方が適当なのかも。

加えて、ここでもし平均フィルタを使うのであれば、

class boxFilterStyle(AbstructMosaicStyle):
    def __init__(self, kernel_size):
        self.kernel_size = kernel_size

のようになるのかな？ 実際、cv2の平均フィルタを呼び出す際は

blur = cv2.blur(img,(5,5)) #(img, (kernel_width, kernel_height))

となるので

[huhudev-git]

@k1105
しかし、サンプルから見ると、平均フィルタあまり効果がないようだが。エッジが残りやすいとは具体的にどのようになるか。確かに、モザイク自身のエッジが強くなるかもしれない、これをある程度の過渡の処理で弱くなれるでしょうか
また、画像処理の授業では、平均フィルタはノイズ除去に使われていると説明しているが。もちろんフィルターを一つに限定しなくてもいい、複数の組み合わせてもいけると思う

[k1105]

ガウスぼかしについて：
簡単にガウスぼかしを用いたモザイク処理について実装してみたところ、ガウスぼかしのカーネルサイズを変えただけではカーネルサイズをかなり大きくしないとボケてくれない＋カーネルサイズを大きくすると実行に膨大な時間がかかるので、再帰的にガウスぼかしを呼び出して実装しました。

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('draemon.png')
h, w, c = img.shape
level = 10

resize = cv2.resize(img, (int(w*100/h), 100))
dst = resize

for i in range(1,level):
    dst = cv2.GaussianBlur(dst,(5,5),10)

また、levelが一緒でも画素数によってぼかしの強さが変わってしまうので、一度リサイズして縦100ピクセルに調整する処理を受け取った画像に対して行っています。

一連の操作のなかで必要になった変数はlevelのみ。反復処理の回数指定に用いるので、整数型。値の範囲は10～100程度。

[k1105]

[k1105]

ピクセルモザイクについて：
実装は以下。一度画像を縮小して、nearest neighborによって補完。例によって一度画像を縦100pxにリサイズしてから戻している。

img = cv2.imread('draemon.png')
h, w, c = img.shape
level = 10

resize = cv2.resize(img, (int(w*100/h) // level, 100 // level), interpolation=cv2.INTER_NEAREST)
dst = cv2.resize(resize, (w, h), interpolation=cv2.INTER_NEAREST)

ここでも必要になったパラメータはlevelのみ。値域は2～10程度。