照亮星星的人们 » 日志
【动画AI技术研究】日志更新(378)

Date: Jul 15, 2024 - Jul 22, 2024

托福考试结束  从这一周开始重新回到工作

1. 面试动画公司制片岗。
投递了国内一些动画公司的制片岗位。15号参加了一场制作进行的面试。和制片老大和人事聊制片职能和工作内容。和穿着“不登校”的面试官还是能聊得开的，被评价为“浓度达标”，差点笑死。

19号面了一家动画公司的制片协调岗，该公司参与制作过很多知名的项目，和摔跤社也有过合作。面试官是从业20年的制片总监，对人员管理、工期协调的理解专业而深刻，面试的时候自己就能学习到不少东西。

2. 和做Cartoon AI的另一家Start-up的Founder进行Connect。
一次印象深刻的Connection. Founder和自己想做的契合度非常高，算是遇见了一位目标知己。了解到目前在做的Product、进度、短期目标等，获得了不少关于数据方面的insight，比如Collaboration并不一定能解决数据问题，或者说AIGC对于上游Creative Role/Pipelines的影响等，感觉对以后做工作会有很大的启发。此外，最让自己印象深刻的是Founder通过"Animation is a running-down industry"(非原话)这种态度透露出的对未来的考量，Though-provoking。

Demo: link

3. 阅读完《分镜头设计》



一本有关动画分镜设计的书，详略得当地介绍了镜头景别、设计流程、镜头语言、接续方式等方面的知识。看完这本书后最大的感受是能看得懂镜头推拉摇移之类的画面指示了，而且三版分镜设计的流程也有了认知，个人觉得是一本不错的参考书。

4. 阅读论文
(1) Continual few-shot patch-based learning for anime-style colorization
利用Patch-based的Few-shot learning思路实现原画的regional colorization. 非常不错的一篇文章，专业、有洞见、非常stimulating.



技术上按照个人理解，其思路是在few-shot的前提下，提取出sketch的局部特征(一个64x64的patch)，然后直接对patch内的各region做label predict，在少量的sketch-color pairs上以supervised的方式学习。直接硬学。Inference的时候先对patch中的各个区域进行label prediction，然后通过voting的方式在segment上得出最后的结果。最后的效果比AnT要好。

此外，文章对于版权，数据不足等问题都提出了专业的见解，不得不看的一篇好文章。

(2) ProPainter: Improving Propagation and Transformer for Video Inpainting
一篇做Video Inpainting的文章，快速扫了一遍，没有仔细看。主要卖点是利用光流同时引导pixel和feature space两个空间，即multi-domain。文章引入的Spatial / Temporal Masked Attn有点意思，直接上图。



5. TC的FT工作。
准备数据，尝试跑FT和Training，Dataset写好了，但是training code还有点问题，需要再调试一下。