Разработчик под псевдонимом hashfunction опубликовал на платформе Hugging Face метаданные 5,6 миллиарда публичных видео из TikTok. Набор данных, размещенный под аккаунтом datasocial, охватывает период с июля 2014 года по октябрь 2026 года. Файлы в формате Parquet общим объемом 460 ГБ доступны для бесплатного скачивания.
В базе содержатся подписи к видео, хештеги, идентификаторы звуков, текст на экране и показатели вовлеченности: просмотры, лайки, комментарии и репосты. Также присутствуют внутренние метки TikTok, включая отметки об ИИ-генерации. По заявлению автора, данные собраны через мобильный API TikTok с использованием обратной разработки подписей запросов и имитации устройств Android.
Система собрала 3,23 миллиарда профилей авторов, 5,94 миллиарда видео и 2,8 миллиарда комментариев за три недели без использования учетных записей. Данные распространяются по лицензии CC BY-NC 4.0 для личного и исследовательского использования. Исходный код парсера продается отдельно за $1 699, а коммерческий доступ к обновлениям реализован через сторонний сайт.
На Hugging Face уже присутствовал аналогичный набор из 4,5 миллиарда видео, также полученный через мобильный API. Официальный доступ к данным TikTok для исследователей из США, Великобритании, ЕС и других регионов ограничен и требует прохождения процедуры одобрения заявок.
