*Пиксельный токен* — это основная единица, позволяющая моделям на основе Transformer обрабатывать визуальную информацию так же, как они обрабатывают язык. Вместо того чтобы подавать модели сотни тысяч сырых RGB-значений, изображение сначала делится на небольшие участки — обычно 16×16 пикселей — которые затем выравниваются и проецируются в плотные векторные эмбеддинги. Эти эмбеддинги становятся "токенами" изображения, аналогичными подсловным токенам в тексте. Недавние работы, такие как _От пикселей к токенам: кодирование байтовых пар на квантизированных визуальных модальностях_, развивают эту идею дальше, применяя BPE непосредственно к визуальным данным, создавая обученный словарь повторяющихся визуальных паттернов, а не фиксированных сеточных участков. Это вводит структурную предварительную информацию в каждый токен, так что на ранних этапах сети токен может представлять "край" или "текстуру", в то время как более глубокие слои композируют их в более высокоуровневые концепции, такие как "светофор" или "лицо человека". Преимущество двойное: во-первых, это значительно сокращает длину последовательности с 150,000+ пикселей до нескольких сотен токенов, что делает самовнимание вычислительно целесообразным; во-вторых, это выравнивает формат визуального представления с языковыми токенами, позволяя одному Transformer мыслить по различным модальностям без отдельных кодеров. На практике эта стратегия токенизации была показана как улучшающая мультимодальное понимание и эффективность данных, помогая моделям, таким как Being-VL-0, достигать более высокой производительности даже с ограниченными обучающими данными.
---
Хотите, чтобы я также дал более техническую версию с математикой, или оставить так, чтобы было проще для восприятия?
Трейдинг — ЭТО НЕ Работа. Не ожидайте фиксированных платежей от рынка. Это Бизнес. Включает в себя неопределенность, убытки, медленные периоды и стресс. Рынок вознаграждает владельцев бизнеса, которые применяют стратегический риск, следуют своему бизнес-плану и принимают правильные решения. Вам платят за Решения, а не за Часы.$BTC $ETH #StrategyBTCPurchase $
Я знаю эти дни, действительно ценю, сэр, продолжайте расти 😎❤
Crypto_Jobs
·
--
Рост
🎉 Ровно год назад я предсказал дно на #XRP около +/- $0.480... [Много раз]
👀 Сегодня мы торгуемся выше $3.50! Посчитайте, это 7-кратное движение! 🔥
📈 Мой последний график все еще нацелен на $4.90+ следующим. 🚀
Многие люди задаются вопросом, как такая точность возможна… Что они не видят, так это бесконечная работа, терпение и преданность в нейтральных или медвежьих рынках, что составляет 70% пути или больше! 💪
Цены на криптовалюту могут взорваться всего за год, единственное настоящее преимущество - это терпение и убежденность!
Тем, кто следит за долгосрочной перспективой; наслаждайтесь поездкой! 😎
Завтра новая неделя, и, как всегда, я поделюсь некоторыми недельными графиками альткойнов. Дайте мне знать, какой из них вы хотите, чтобы я опубликовал. 👇