Добавление тега "Баян".
В общем - есть такая идея. Чтоб на реакторе была хэшированная база изображений. Суть следующая.
Слоупок, добавляющий пост с изображением, которое уже светилось ранее на реакторе, автоматом к посту получает тег "баян".
Реализация весьма банальна и вроде не сильно ресурсо-емкая.
Каждое новое изображение, обрабатывается функцией хэширования (md5, sha1, sha256, sha512 или другими не ресурсоемкими операциями) и отправляется в NoSQL хранилище с ключом этого хэша.
Если хэша в БД нету, то изображение НЕ получает тег "боян", иначе получает. Так можно будет частично освободить ленту, от баянов.
Крупная проблема:
1) баянистое изображение должно быть идентичным, тому что ранее размещалось. Т.е. 100% совпадение.
Думаю с такой фичей можно будет отрезать 15-20% баянов.
2) Существующая база изображений может обрабатываться либо ночью, либо просто забить на старые изображения и вылавливать только новые баяны.
Идея оставляю на рассуждение администрации и общества.
В общем - есть такая идея. Чтоб на реакторе была хэшированная база изображений. Суть следующая.
Слоупок, добавляющий пост с изображением, которое уже светилось ранее на реакторе, автоматом к посту получает тег "баян".
Реализация весьма банальна и вроде не сильно ресурсо-емкая.
Каждое новое изображение, обрабатывается функцией хэширования (md5, sha1, sha256, sha512 или другими не ресурсоемкими операциями) и отправляется в NoSQL хранилище с ключом этого хэша.
Если хэша в БД нету, то изображение НЕ получает тег "боян", иначе получает. Так можно будет частично освободить ленту, от баянов.
Крупная проблема:
1) баянистое изображение должно быть идентичным, тому что ранее размещалось. Т.е. 100% совпадение.
Думаю с такой фичей можно будет отрезать 15-20% баянов.
2) Существующая база изображений может обрабатываться либо ночью, либо просто забить на старые изображения и вылавливать только новые баяны.
Идея оставляю на рассуждение администрации и общества.
