Young's Blog

发表于 分类于 本文字数： 197 阅读时长 ≈ 1 分钟

sshKey 记录

今天传代码的时候，发现一直报连接超时，kex_exchange_identification: Connection closed by remote host，Please make sure you have the correct access rights and the repository exists. 突然又郁闷了。搜了一圈之后，发现好像是远程密钥的问题。在出现Are you sure want to continue connecting (yes/no/[fingerprint])? 的时候，输入yes，然后就OK了。

阅读全文 »

发表于 更新于 分类于 本文字数： 412 阅读时长 ≈ 1 分钟

部署博客方式

  1. 部署在 Vercel,Netlify 这样的免费平台上
  2. 部署在 Github Pages 上, 是用gh-pages分支来部署的，xxx.github.io可以用来做个人主页介绍，gh-pages用来做博客

部署在 Vercel 上的博客

  1. 可以通过和github账号关联，一键部署，很方便

  2. 在本地安装vercel， 通过vercel的命令行工具，来实现部署

  3. 遇到的问题，vercel易被DNS污染，正常访问打不开，看到有帖子说可以买个域名弄一下，有钱了再买个域名玩一玩, 😭

  4. 因为tags的名称字母的大小写的问题，导致tags页面出现404的解决方案：将.deploy_git/.git/config里的ignorecase设为false即可。

https://blog.zhheo.com/p/5511910d.html

阅读全文 »

发表于 更新于 分类于 本文字数： 706 阅读时长 ≈ 3 分钟

趁着这个计算神经科学的课，用一用git

主要的流程是：

  • git init 初始化
  • git add . 加载所有文件
  • git commit -m "first commit"
  • git branch -M main 将主分支名字由master 改为main
  • git remote add origin github.com/xxx/xxx.git 后面的这个链接名字换成了 origin
  • git push -u origin main 传到origin的main分支上 ,用这个命令也行，git push --set-upstream origin xxx

其它： - git rm/git mv 删除/移动文件到暂存区 - git log 查看日志 - git diff/git status 查看工作区 - git commit 提交更改的文件 - git push 推送更改到远程仓库 - git branch 列出本地分支 - git branch/git checkout -b 新建分支 - git branch -d 删除分支 - git pull 更新分支 - git merge/git rebase 合并目标分支内容到当前分支 - git reset/git checkout . 强制回退到历史节点/回退到本地所有修改而未提交的

  1. 如果代码或者文件有修改，可以用git status 查看改动的文件，用git add 添加文件到缓存区，git add . 是一次性添加所有文件，然后 git commit -m "first commit" 提交到本地仓库，git push 提交到远程仓库。
阅读全文 »

发表于 本文字数： 0 阅读时长 ≈ 1 分钟

发表于 更新于 本文字数： 737 阅读时长 ≈ 3 分钟

Transformer

两种注意力评分： 加性注意力和缩放点积注意力

向量化:

Q 为 \(n \times d\)维，K为 \(m \times d\) 维，V为 \(m \times v\) 维，n,m为query个数和键值对的个数。d,v为值的维数。

nnConv2d卷积操作的特征图的尺寸计算

经过卷积后的特征图尺寸等于卷积核滑动的次数 + 1，现在假设卷积前的特征图宽度为N，卷积后输出的特征图宽度为M ，padding之后的矩阵宽度等于N+2*padding 。卷积核的滑动次数等于 M-1

\[ N+2{\times}padding = (M-1){\times}strides +kernel\_size \] 输出矩阵的宽度

\[M = (N + 2* padding - kernel\_size)/stride + 1 \]

相关资源

知乎链接

PaddleDeepLearning

Relative Position Encoding

  1. 先计算出每个位置的相对索引，然后给行、列标加上 \(M-1\)，\(M\)为窗口的大小，然后行标乘以 \(2M-1\)，然后行、列标相加，得到 relative position index，然后根据 \(2M-1 \times 2M-1\)的 relative position bias table，利用relative position index进行索引，得到对应的relative position bias。

参考链接:

  • https://www.bilibili.com/video/BV1pL4y1v7jC/?spm_id_from=333.788&vd_source=14b6fe8ee5c754517b8d9ea208b65098
  • https://www.cnblogs.com/shiyublog/p/11185625.html
  • https://www.cnblogs.com/shiyublog/p/11236212.html

各种卷积

  1. 卷积的公式： \[(f*g)(t)=\int_{-\infty}^{\infty}f(\tau)g(t-\tau)d\tau \]

  2. 卷积的特点：权重共享(weights sharing)、平移不变性(translation invariance)

  3. 转置卷积：

    • 对于卷积核尺寸为k,步长stride=1, 填充padding=0的标准卷积，等价的转置卷积在尺寸为i'的输入矩阵上进行运算，输出的特征图的尺寸o'为: \[o' = i' + (k - 1)\]

    同时转置卷积的输入矩阵需要进行 $ padding'= k-1 $ 的填充

    • 对于stride>1，卷积核的尺寸为k，填充padding=0的标准卷积，等价的专职卷积在尺寸为i'的输入矩阵上进行运算，输出的特征图的尺寸o'为： \[o' = s(i'- 1) + k \]

    同时转置卷积的输入矩阵需要进行 \(padding'=k-1\) 的填充，相邻元素间的空洞大小为 \(s-1\)。

  4. 深度可分离卷积：就是将一般的卷积的对各个通道运算完，求和的那一步，拆分开，让一个 \(1 \times 1\)的卷积去做这个求和，前面各个通道的卷积核对应执行卷积操作。

  5. 空间可分离卷积：就是将 \(H \times W\)的卷积核，拆分成 \(H \times 1\) 和 \(1 \times W\) 的卷积核。能够减少运算的次数

  6. 空洞卷积：就是在卷积核中间插入空洞，增大感受野。空洞卷积的输出尺寸计算公式为：

\[ O = \frac{I + 2P - D(K-1) - 1}{S} + 1 \]

其中： - O: 输出特征图大小 - I: 输入特征图大小 - P: padding大小 - D: 空洞率(dilation rate) - K: 卷积核大小 - S: 步长(stride)

空洞卷积的有效感受野大小为：\((k-1) * d + 1\)，其中k为卷积核大小，d为空洞率。

发表于 更新于 分类于 本文字数： 437 阅读时长 ≈ 2 分钟

闲聊几句

还是得有个博客记录啊，之前用的工具Sleap好久没用，没想到现在又要用了，流程什么的好些都忘了，又要重新捡回来，有个博客的好处就是能够方便地记录下来，日后万一哪天需要的时候，就很方便。

Sleap

论文：Sleap: A deep learning system for multi-animal pose tracking[1]

作者是来自普林斯顿、NYU等机构的学者，名字比较多，就不一一列举了。论文引用[1]:Pereira, T.D., Tabris, N., Matsliah, A. et al. SLEAP: A deep learning system for multi-animal pose tracking. Nat Methods 19, 486–495 (2022). https://doi.org/10.1038/s41592-022-01426-1

Time

  • 2022.Apr

总结

  1. 理解大脑如何产生和促使行为的愿望驱使了量化自然动物行为工具的方法的创新。
  2. 特点有：
    • GUI
    • 超过30个model architecture：有很多预训练的模型。
    • 2种part grouping的方式、2种identity tracking的方式
    • 多种workflows for data labeling, model training, inference on previously unseen data.
    • 能够端到端的tracking of high-resolution multi-animal data at low latencies.
    • 是一个对于多动物姿态追踪的完整的framework。

Train

  1. 可以导入已经标好了的COCO格式的数据，Import data

sleap-train path/to/your/training_profile.json another/path/to/labels.pkg.slp

这里需要注意的是：在training_profile.json里，training_label和validation_label的路径可以补上，这是比较简单的方式了，如果是在服务器上跑，那就把train文件run training，然后export为train.pkg.slp格式，这样不会报图片不存在的错误；如果实在本地跑，可以将train label 直接save as 为train.slp，给到training label的路径。

阅读全文 »

发表于 更新于 分类于 本文字数： 0 阅读时长 ≈ 1 分钟

发表于 更新于 分类于 本文字数： 127 阅读时长 ≈ 1 分钟

参考链接：

https://web.mit.edu/be.400/www/SVD/Singular_Value_Decomposition.htm 这个里面有几处错误，A的转置矩阵不对。

https://my.oschina.net/findbill/blog/535044

https://zhuanlan.zhihu.com/p/77151308

矩阵的计算复杂度

  1. 给定一个矩阵A(\(n\times m\)), 矩阵B(\(m\times n\))，两个矩阵相乘的复杂度是 \(O(n^2 \times m)\)。解释如下：
    • \(A \times B\)得到的矩阵 \(C\)有 \(n \times n\) 个元素，每个元素需要进行 \(m\) 次乘法和 \(m-1\) 次加法，所以复杂度是 \(O(n^2 \times m)\).

发表于 更新于 分类于 本文字数： 601 阅读时长 ≈ 2 分钟

最近一直有个想法，想去弄个博客，之前有在cnblogs上弄过，但是感觉还是想通过Hexo和Github来弄，主要目的是记录一下自己学习的一些东西，包括各种软件算法的配置、使用、以及踩过的坑等等。有个记录，方便自己需要的时候可以看看，同时，如果有朋友遇到了类似的问题，可以相互交流借鉴。

阅读全文 »
0%