Sleap_and_DeepLabCut

发表于 更新于 分类于 阅读次数： 本文字数： 437 阅读时长 ≈ 2 分钟

闲聊几句

还是得有个博客记录啊，之前用的工具Sleap好久没用，没想到现在又要用了，流程什么的好些都忘了，又要重新捡回来，有个博客的好处就是能够方便地记录下来，日后万一哪天需要的时候，就很方便。

Sleap

论文：Sleap: A deep learning system for multi-animal pose tracking[1]

作者是来自普林斯顿、NYU等机构的学者，名字比较多，就不一一列举了。论文引用[1]:Pereira, T.D., Tabris, N., Matsliah, A. et al. SLEAP: A deep learning system for multi-animal pose tracking. Nat Methods 19, 486–495 (2022). https://doi.org/10.1038/s41592-022-01426-1

Time

  • 2022.Apr

总结

  1. 理解大脑如何产生和促使行为的愿望驱使了量化自然动物行为工具的方法的创新。
  2. 特点有：
    • GUI
    • 超过30个model architecture：有很多预训练的模型。
    • 2种part grouping的方式、2种identity tracking的方式
    • 多种workflows for data labeling, model training, inference on previously unseen data.
    • 能够端到端的tracking of high-resolution multi-animal data at low latencies.
    • 是一个对于多动物姿态追踪的完整的framework。

Train

  1. 可以导入已经标好了的COCO格式的数据，Import data

sleap-train path/to/your/training_profile.json another/path/to/labels.pkg.slp

这里需要注意的是：在training_profile.json里，training_label和validation_label的路径可以补上，这是比较简单的方式了，如果是在服务器上跑，那就把train文件run training，然后export为train.pkg.slp格式，这样不会报图片不存在的错误；如果实在本地跑，可以将train label 直接save as 为train.slp，给到training label的路径。

Inference

参考链接

https://github.com/talmolab/sleap/discussions/942

https://github.com/talmolab/sleap/discussions/1620

https://github.com/talmolab/sleap/discussions/801

https://sleap.ai/guides/cli.html