trace.moe
trace.moe copied to clipboard
soruly
请教下关于图像识别相关的问题
能了解下 trace.moe 用的 Lire 处理一张图片平均需要耗时多久之类的指标吗？
我在尝试学习 CBIR...想参考 trace.moe 做一个根据图片查找涩图原图/相似图的 API ~~Lire 似乎只能识别原图？从 trace.moe 的图片要求看鲁棒性好像不太行，所以没准备用但想参考下~~
想参考下实际维护下来的可行性，以及技术栈和算力需要，现在用的 SIFT ~~啥都不会初学...高二学生实在看不懂~~
~~owner 好像是在香港？抱歉直接用中文了~~
需要多少運算資源完全取決於你的資料量。 LIRE 很快的, 尤其是只選用比較簡單的 ColorLayout 時, 用 7950X3D 處理 17500 張圖片(320x180px)只需要 1-2 秒。 如果你只得一萬幾千張圖，隨便一台十年前的電腦應該也足夠應付。另外也盡可能確保有足夠的記憶體把整個資料庫放在 RAM 裡, 或者使用超快的 nvme SSD 也可以。LIRE 的 ColorLayout image hash 每張大約佔用 210 Bytes.
然而 ColorLayout 只計算 global feature, 只能夠全畫面比對完整圖片, 不能像 SIFT 那樣計算畫面其中一部份的相似性。若果你例如想找出某圖片從哪裡「裁出來」的話, 就不建議用 ColorLayout 這種 global feature 的 image hash 了 當然 SIFT 需要的運算力比 ColorLayout 至少多幾倍，產生的 image hash 資料也更多。但若果你的資料量夠少的話，也許需求並不大… 我也很久沒踫 SIFT 了, 在這方面無法給你什麼參考數字……
emmm，我现在在试着处理37部番剧里面的关键帧，用不同的算法
如果是全画面已经能满足了，但我还是想做头像识别这种，看这性能占用感觉成本会变得不低
只是这些小规模的角色识别我倒是可以不留余力地用 SIFT 或者更强的，但大规模我找不到啥公开项目做参考...
不知道该用什么才能满足需求，实在没推荐的话我尝试自己摸索看看
另外关于动漫这类的图像检索提取 hash 或者特征与实拍图片有什么不同之处吗，不清楚色彩和边缘这类有没有什么讲究之处？感觉与实景完全不同
比如采用更冒进的策略缩放原图再提取特征、降维之类？
动漫识别就根本没文献什么的可参考了...麻烦您了
頭像識別可以看看 https://github.com/nagadomi/animeface-2009 但我目前還沒有見過大規模使用的項目
色彩上的特徵明顯，是其中一個 ColorLayout 能找到匹配圖片的關鍵，若應用在比較灰暗的真實圖片，效果會比色彩更鮮明的動漫圖片差。ColorLayout 不會分析圖片上的邊緣，所以目前 trace.moe 為了提升 hash 速度和 deldup 效率，hash 的時候會把所有影格縮小至 320x180。這相比使用 720p 來說，搜尋準確度也沒有明顯分別。但若果使用邊緣相關的算法，例如 Edge Histogram 的話，解像度太低就會有很大影響。
關於 ACG 相關的項目可以參考一下 https://github.com/soruly/awesome-acg
頭像識別可以看看 https://github.com/nagadomi/animeface-2009 但我目前還沒有見過大規模使用的項目
色彩上的特徵明顯，是其中一個 ColorLayout 能找到匹配圖片的關鍵，若應用在比較灰暗的真實圖片，效果會比色彩更鮮明的動漫圖片差。ColorLayout 不會分析圖片上的邊緣，所以目前 trace.moe 為了提升 hash 速度和 deldup 效率，hash 的時候會把所有影格縮小至 320x180。這相比使用 720p 來說，搜尋準確度也沒有明顯分別。但若果使用邊緣相關的算法，例如 Edge Histogram 的話，解像度太低就會有很大影響。
關於 ACG 相關的項目可以參考一下 https://github.com/soruly/awesome-acg
感谢，我这边参考正在降低分辨率测试下识别效果🤔
頭像識別可以看看 https://github.com/nagadomi/animeface-2009 但我目前還沒有見過大規模使用的項目
色彩上的特徵明顯，是其中一個 ColorLayout 能找到匹配圖片的關鍵，若應用在比較灰暗的真實圖片，效果會比色彩更鮮明的動漫圖片差。ColorLayout 不會分析圖片上的邊緣，所以目前 trace.moe 為了提升 hash 速度和 deldup 效率，hash 的時候會把所有影格縮小至 320x180。這相比使用 720p 來說，搜尋準確度也沒有明顯分別。但若果使用邊緣相關的算法，例如 Edge Histogram 的話，解像度太低就會有很大影響。
關於 ACG 相關的項目可以參考一下 https://github.com/soruly/awesome-acg
Cartoon Face Recognition: A Benchmark Dataset https://arxiv.org/pdf/1907.13394.pdf https://github.com/luxiangju-PersonAI/iCartoonFace
