Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于 应用的 问题。 #9

Closed
sunjunlishi opened this issue Apr 14, 2018 · 10 comments
Closed

关于 应用的 问题。 #9

sunjunlishi opened this issue Apr 14, 2018 · 10 comments

Comments

@sunjunlishi
Copy link

你的工作非常漂亮,我也研究了 eos 和 3dmm
1 表情同步
我在想多张图片去纠正 一个人的3d模型,比如正脸调整出一个3d模型,侧脸图片,再去调整 3d模型,最终更好的估算出此人的3d模型,虽然eos 有多张人脸的处理.
先估算出一个人准确的3d无表情模型,以此模型为基础,去估算后面的,得到表情变化参数。
然后把这些参数作用到其他3d人脸上。
希望以后可以和你交流

@sunjunlishi
Copy link
Author

3dmm我也尝试了,但是对亚洲人的人脸处理不太好,而且鼻子貌似都是点大。而且模型是不是可以压缩啥的,我希望我以后的研究重心可以放到模型压缩上。然后结合多张人脸+刚性变化参数估算(旋转,缩放,位移)+非刚性变化参数(局部变化参数)等等,你的 3d----密度UV这样的思路正是人脑的建立的模型吧,怎么把他们用起来,迷茫呀。

@sunjunlishi
Copy link
Author

1
2
3
4

@sunjunlishi
Copy link
Author

深度细节很到位,但是脸偏长,鼻子偏高。
不过你的算法是我见过最好的

@sunjunlishi
Copy link
Author

希望可以联系你,向你请教

@xgits
Copy link

xgits commented Apr 15, 2018

这个还是以robust为主, 多个图片纠正我已经做好了, 没什么难度, 但效果提升不大。UP主最近比较忙,后面会有新项目 (I am nobody, 替UP回复一下)。

@sunjunlishi
Copy link
Author

多张是几何的角度

@yfeng95
Copy link
Owner

yfeng95 commented Apr 17, 2018

你好,

  1. 从多张图片中得到更准确的人脸模型也是一个研究方向,如何去处理表情,姿态带来的同一人脸的变化有很多细节问题
  2. 3DMM是因为采集数据的问题,具体的应该是BFM的问题,由于建立模型时缺少亚洲人的人脸模型,所以有这样的问题。实际上,我的这个demo也会有同样的问题,因为现今的模型是使用BFM拟合的数据进行训练的,脸偏长,鼻子偏高就是因为训练数据的原因。我正在努力解决这个问题。
  3. 如果是关于学术方面的讨论,还是请联系这个邮箱fengyao@sjtu.edu.cn,issue这里最好是有关代码的问题。
    另外,正如 @xgits 所说,我最近比较忙,可能会回复的比较慢。

谢谢!

@sunjunlishi
Copy link
Author

sunjunlishi commented Apr 17, 2018

嗯,解决的彻底。可以在您的基础(模型压缩应该可以后续解决)之上衍生很多应用,专业的是动画制作,表情同步,游戏。其他的如app,做些gif的搞笑之类。谢谢你的邮箱,因为没有见你的公开邮箱,因此提了issue

@sunjunlishi
Copy link
Author

网络模型能再小点多好,我感觉 效果非常好,整体。可以用mobilefacenet 或者mobilenet的 思路?

@sunjunlishi
Copy link
Author

为什么没有caffe的模型??

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants