Очистка текстовых символов

Почему уборка на уровне персонажа важна

Некоторые текстовые проблемы заключаются не в том, сколько у вас пробелов, а в том, какие персонажи сохранилась копия. Microsoft Word вставляет фигурные кавычки, которые нарушают JSON. Инструменты дизайна экспортируют длинные тире и многоточия, а редакторы простого текста неправильно обрабатывают их. Эмодзи отображаются в виде прямоугольников в устаревших системах. В выводе OCR знаки разделов и мягкие дефисы распределяются по читаемым в противном случае предложениям. Соединители нулевой ширины из вставки RTL бесшумно разрывают индексы поиска.

The __ТОК1__ __ТОК0__ нацелены на классы символов, нормализацию Unicode и настраиваемые правила сохранения/удаления — и все это в вашем браузере, без загрузки. Используйте его, когда Whitespace Cleaner уже имеет фиксированный интервал, но символы, эмодзи или невидимые управляющие коды по-прежнему вызывают проблемы.

Что этот инструмент удаляет и сохраняет

Специальные, небуквенно-цифровые, цифры и буквы

Удаление специальных символов удаляет знаки препинания и символы вместе, сохраняя при этом буквы, цифры и пробелы. Для более точного управления переключите «Удалить пунктуацию» и «Удалить символы» отдельно — запятые и точки являются знаками пунктуации; Знаки плюс, равенство и валюта являются символами.

Удаление небуквенно-цифровых символов (оставьте только буквы и цифры) удаляет все остальное из любого сценария. Отключите параметр «Оставлять пробелы», чтобы свернуть результат в одну непрерывную строку — это удобно для идентификаторов, фрагментов и совпадающих ключей. При удалении чисел удаляются цифры в каждой системе счисления, а не только 0–9. Удалить буквы удаляет буквы из каждого сценария, оставляя цифры и знаки препинания, если эти параметры отключены.

Кластеры и символы эмодзи

Удалить смайлы удаляет каждый смайлик как единое целое. Семейные смайлы, флаги стран и модификаторы цвета кожи включают внутренние соединения нулевой ширины; очиститель удаляет весь кластер, поэтому невидимые остатки не повредят ваш текст позже. Удалите символы, предназначенные для математики, валюты и знаковых символов, таких как плюс, равенство, доллар и евро, оставив при этом знаки препинания, если вы не удалите их тоже.

Акценты и поведение с учетом сценариев

Удаление акцентов превращает кафе в кафе, а Ελλάδα в Ελλαδα с помощью декомпозиции, которая понимает, какие сценарии рассматривают знаки как украшение. Он намеренно пропускает Devanagari, арабский, иврит, тайский и Cyrillic, где знаки являются частью буквы — слепое удаление исказило бы смысл. Этот подход с учетом сценариев — это то, что общие инструменты «удаления диакритических знаков» часто ошибаются.

Умные кавычки, тире и типографская пунктуация

Смарт-кавычки на прямые заменяют фигурные кавычки и апострофы простым ASCII — чего ожидает код, CSV и старые базы данных. Прямые кавычки для смарта делают обратное для публикации. Выпрямление тире преобразует тире, длинные тире и односимвольное многоточие в дефис ASCII и три точки.

Невидимые и управляющие персонажи

Безопасный невидимый режим удаляет пробелы нулевой ширины и метки порядка байтов. В агрессивном режиме также удаляются соединения, которые могут понадобиться в арабском и индийском тексте. Используйте его только в том случае, если вы уверены, что это не повлияет на ваш контент. Удаление меток направления удаляет двунаправленные переопределения и соответствующие элементы управления, которые шифруют смешанную пасту RTL/LTR. Удаление управляющих символов удаляет нулевые байты и другие невидимые коды, которые нарушают работу баз данных; Сохранение табуляции и разрывов строк остается включенным по умолчанию, поэтому макет сохраняется.

Unicode нормализация: NFC, NFD, NFKC, NFKD

NFC составляет буквы и объединяет знаки в отдельные символы — самый безопасный вариант по умолчанию для хранения и поиска. NFD разделяет их на части. NFKC и NFKD идут дальше: символы совместимости складываются так, что необычные шрифты, лигатуры и числа в кружочках превращаются в обычный текст. Выберите NFKC при импорте пользовательского контента в строгие системы ASCII; выберите NFC для общего многоязычного хранилища на WriteWithin.

Пользовательское сохранение и удаление символов

Сохраняйте списки символов, которые должны пережить агрессивную очистку — дефисы, подчеркивания, точки в именах файлов. Удалить символы перечисляет точные кодовые точки или литералы для удаления независимо от других переключателей. Соединяйте Keep alnum только с символами Keep -_. для безопасного вывода имени файла без угадывания, к какому классу символов принадлежит каждая метка.

Предустановки для обычных задач

• Обычный текст — NFC, безопасное невидимое удаление, прямые кавычки, прямые тире, очистка элементов управления, аккуратные пробелы
• Имя файла безопасно — акценты отключены, эмодзи выключены, alnum plus -_. только, ASCII-только
• Список имен — отключены эмодзи и символы, отключены цифры, аккуратные места
• Только цифры — полосы букв, эмодзи, символов, знаков препинания
• Только буквы — полоски цифр, эмодзи, символов
• ASCII безопасно — NFKC, акценты отключены, эмодзи отключены, прямые кавычки, только ASCII

Character Cleaner против Whitespace Cleaner

The Whitespace Cleaner сворачивает повторяющиеся пробелы, заменяет NBSP, преобразует табуляцию, исправляет разрывы строк PDF и при необходимости удаляет пустые строки. Он не удаляет смайлы, классы пунктуации и умные кавычки. Когда вставка Word показывает «правильный» интервал, но синтаксический анализатор JSON по-прежнему не работает, проблема обычно заключается в фигурных кавычках или длинных тире — на уровне символов, а не на уровне пробела.

Character Cleaner включает в себя аккуратные пробелы для легкого свертывания после удаления символов, но для тяжелой работы с интервалами — PDF объединяет, NBSP нормализация, предварительный просмотр невидимости — сначала используйте Whitespace Cleaner. Типичная цепочка: Whitespace Cleaner → Character Cleaner → Line Tools для списка дедупликации.

Case Converter изменяет регистр букв после того, как символы стабилизируются. URL Cleaner обрабатывает параметры ссылки. Line Counter меры без внесения изменений.

Пошагово: подготавливаем текст для кода или CSV

1. Вставьте экспорт вашего документа в Character Cleaner.
2. Примените безопасный пресет «Обычный текст» или ASCII.
3. Убедитесь, что смарт-кавычки для прямых и выпрямленных тире включены.
4. Включите безопасное невидимое удаление и удалите управляющие символы.
5. Скопируйте выходные данные и вставьте их в свою среду IDE, файл JSON или импортер CSV.

Шаг за шагом: создание строк, безопасных для имен файлов

1. Примените предустановку безопасного имени файла (NFKC, акценты удалены, эмодзи выключены, только alnum).
2. Добавьте символы Keep -_. если должны остаться подчеркивания или точки.
3. Включайте ASCII только тогда, когда этого требует целевая файловая система.
4. Включите «Опрятные пространства», чтобы скрыть пробелы, оставшиеся после удаления символов.
5. Копируйте и переименовывайте файлы или создавайте поля ярлыков в своем CMS.

Распространенные ошибки, которых следует избегать

• Удаление акцентов в тексте на арабском языке или хинди — инструмент пропускает значимые скрипты, но агрессивный невидимый режим все равно может навредить юнерам; предпочитаю безопасную невидимку на многоязычной пасте.
• Использование специального удаления, когда вы имеете в виду только смайлы — переключите Удалить только смайлы, чтобы сохранить пунктуацию.
• Ожидается ремонт линии PDF здесь — жесткие разрывы строк — это Whitespace Cleaner работа.
• NFKC на дисплее текст, который вы хотите выглядеть красиво — NFKC складывает стилистические варианты; используйте NFC для копии, ориентированной на человека.
• Забыть Keep табуляции и разрывы строк — при отключении структурированные бревна выравниваются; отключайте только тогда, когда вам действительно нужна одна линия.

Преимущества очистки персонажей с учетом сценариев

• Эмодзи удалены целыми группами — невидимых остатков столярных элементов нет.
• Удаление акцента учитывает сценарии, в которых знаки несут смысл.
• Отдельные переключатели для символов, знаков препинания, цифр и букв.
• Все четыре формы нормализации Unicode с предустановками простого языка.
• Частная обработка конфиденциальных черновиков и клиентских данных в браузере

Реальные варианты использования

Полезные нагрузки JSON и API: прямые кавычки, никаких управляющих символов, нормализация NFC. Очистка электронной коммерции SKU: только буквы и цифры, символы отключены. Подготовка к публикации в социальных сетях для SMS: смайлы отключены, акценты необязательны. Вставьте OCR и PDF: объедините с Whitespace Cleaner, затем удалите здесь знаки разделов и нечетные символы. Пакеты имен файлов: ASCII безопасная предустановка с настраиваемыми символами сохранения для точек и дефисов в номерах версий.

Общие вопросы

Нарушит ли удаление акцентов хинди, арабский или тайский язык? Нет. Удаление акцентов предназначено для латинских и греческих декоративных знаков. Знаки Devanagari, арабского языка, иврита, тайского языка и Cyrillic остаются нетронутыми.

В чем разница между символами и специальными символами? Символы — это математика, валюта и знаки, такие как + = $ €. Пунктуация есть , . ! ? и цитаты. Удалить специальные очищает оба; вы также можете переключать каждый класс.

Оставляет ли удаление смайлов сломанные остатки? Нет. Кластеры, включающие оттенки кожи, флаги и семейства, удаляются как одно целое.

Какую форму Unicode мне следует использовать? NFC для общего хранения; NFKC при складывании двойников и символов совместимости для строгих систем.

Мой текст загружен? Нет. Очистка символов выполняется полностью в вашем браузере.