Постоянное преобразование байтов в C# без ручного указания кодировки

В C# строки хранятся внутренне как символы, закодированные в UTF-16, что делает прямой доступ к байтам невозможным без явного преобразования кодировки. Для получения последовательного представления в байтах без ручного указания кодировки можно использовать метод Encoding.UTF8.GetBytes() или свойство System.Text.Encoding.UTF8, которое предоставляет статичный, потокобезопасный кодировщик UTF-8, обеспечивающий последовательные результаты в различных средах. Зависимость от кодировок существует потому, что строки в .NET представляют собой абстрактные последовательности символов Unicode, а не массивы байтов, требующие явного кодирования для отображения символов в байты при хранении или передаче.

Содержание

• [Хранение строк в .NET](#хранение-строк в-net)
• Необходимость кодирования
• Методы последовательного преобразования в байты
• Лучшие практики для шифрования
• Работа с различными сценариями кодирования
• Вопросы производительности
• Распространенные ошибки и их решения

Хранение строк в .NET

В .NET строки хранятся внутренне как последовательности символов, закодированных в UTF-16. Каждый символ в строке C# представлен структурой Char, которая является 16-битным (2-байтовым) значением. Это означает, что строка вроде “Hello” не существует в памяти как простой массив байтов, а скорее как массив 16-битных кодовых точек.

string text = "Hello";
// В памяти это хранится как массив символов UTF-16:
// H(0x0048), e(0x0065), l(0x006C), l(0x006C), o(0x006F)

Класс System.String в .NET предоставляет несколько методов для преобразования строк в массивы байтов, но все они требуют указания кодировки. Это связано с тем, что внутреннее представление UTF-16 недоступно напрямую как байты - вам необходимо закодировать символы в байты с использованием определенной схемы кодировки символов.

Необходимость кодирования

Кодирование необходимо потому, что строки в .NET представляют собой абстрактное представление текста, в то время как массивы байтов представляют собой необработанные двоичные данные. Преобразование между этими двумя типами требует отображения символов в байты, что именно и предоставляют схемы кодировки символов.

Unicode и отображение символов

Стандарт Unicode определяет более 140 000 символов, но разные кодировки представляют эти символы с использованием разного количества байтов:

• UTF-16: использует 2 или 4 байта на символ (переменная длина для суррогатных пар)
• UTF-8: использует 1-4 байта на символ (переменная длина)
• ASCII: использует 1 байт на символ (ограничено 128 символами)

При преобразовании строки в массив байтов вы, по сути, просите .NET “перевести” символы Unicode в байты с использованием определенной схемы кодировки. Без указания кодировки .NET не знал бы, как выполнить это преобразование.

Проблема прямого доступа

Вы можете задаться вопросом, почему нельзя просто получить прямой доступ к внутренним байтам UTF-16. Причины включают:

1. Расположение в памяти: внутреннее расположение строк может различаться между разными реализациями .NET и версиями среды выполнения
2. Производительность: прямой доступ может привести к небезопасному коду, который обходит неизменяемость строк
3. Портативность: разные системы могут иметь разные собственные представления строк
4. Безопасность: прямой доступ к памяти может создать уязвимости в безопасности

Методы последовательного преобразования в байты

Метод 1: Использование кодировки UTF-8 (рекомендуется)

UTF-8 является наиболее широко используемой кодировкой и обеспечивает хорошую совместимость при эффективной работе с большинством текстов:

string text = "Hello, World!";
byte[] bytes = Encoding.UTF8.GetBytes(text);

Метод 2: Использование кодировки UTF-16

Если необходимо сохранить точное внутреннее представление:

string text = "Hello, World!";
byte[] bytes = Encoding.Unicode.GetBytes(text); // UTF-16 с порядком байтов little-endian

Метод 3: Использование кодировки без указания имени

Для последовательных результатов без ручного указания имени кодировки:

string text = "Hello, World!";
byte[] bytes = new UTF8Encoding(true).GetBytes(text); // UTF-8 с BOM

Метод 4: Использование Span для лучшей производительности

Для .NET Core 2.1+ и .NET 5+ можно использовать методы на основе span для лучшей производительности:

string text = "Hello, World!";
byte[] bytes = new byte[Encoding.UTF8.GetByteCount(text)];
Encoding.UTF8.GetBytes(text.AsSpan(), bytes);

Лучшие практики для шифрования

При преобразовании строк для целей шифрования последовательность имеет решающее значение. Вот рекомендуемые подходы:

Используйте UTF-8 в большинстве случаев

public static byte[] StringToBytesForEncryption(string input)
{
    return Encoding.UTF8.GetBytes(input);
}

Рассмотрите возможность добавления BOM для совместимости

Если зашифрованные данные должны обрабатываться системами, ожидающими метку порядка байтов:

public static byte[] StringToBytesWithBOM(string input)
{
    return new UTF8Encoding(true).GetBytes(input);
}

Обработка null и пустых строк

public static byte[] SafeStringToBytes(string input)
{
    if (string.IsNullOrEmpty(input))
        return Array.Empty<byte>();
    
    return Encoding.UTF8.GetBytes(input);
}

Проверка последовательности кодировки

Всегда убедитесь, что и шифрование, и дешифрование используют одну и ту же кодировку:

public static string BytesToStringForDecryption(byte[] bytes)
{
    return Encoding.UTF8.GetString(bytes);
}

Работа с различными сценариями кодирования

Устаревшие данные ASCII

Для устаревших систем, поддерживающих только ASCII:

string text = "Hello";
byte[] asciiBytes = Encoding.ASCII.GetBytes(text);

Сценарии с высокой производительностью

Для сценариев с высокой производительностью рассмотрите использование MemoryMarshal:

string text = "Hello";
byte[] bytes = MemoryMarshal.AsBytes(text.AsSpan()).ToArray();

Последовательность между платформами

Обеспечьте последовательное поведение на разных платформах:

public static class EncodingHelper
{
    public static readonly Encoding DefaultEncoding = new UTF8Encoding(false);
    
    public static byte[] ConvertToBytes(string text)
    {
        return DefaultEncoding.GetBytes(text);
    }
}

Вопросы производительности

Сравнение кодировок

Кэширование объектов кодировки

Избегайте повторного создания экземпляров кодировки:

// Хорошо - повторное использование экземпляров кодировки
private static readonly Encoding Utf8Encoding = Encoding.UTF8;

public static byte[] ConvertString(string text)
{
    return Utf8Encoding.GetBytes(text);
}

Использование методов на основе Span

Для больших строк используйте методы на основе span для избежания промежуточных выделений памяти:

public static byte[] ConvertStringOptimized(string text)
{
    byte[] buffer = new byte[Encoding.UTF8.GetByteCount(text)];
    Encoding.UTF8.GetBytes(text, 0, text.Length, buffer, 0);
    return buffer;
}

Распространенные ошибки и их решения

Ошибка 1: Непоследовательное использование кодировки

Проблема: Использование разных кодировок для шифрования и дешифрования.

Решение: Стандартизируйте одну кодировку во всем приложении.

// Плохо - непоследовательная кодировка
byte[] encrypted = Encoding.UTF8.GetBytes(text);
string decrypted = Encoding.ASCII.GetString(encrypted); // Неверно!

// Хорошо - последовательная кодировка
byte[] encrypted = Encoding.UTF8.GetBytes(text);
string decrypted = Encoding.UTF8.GetString(encrypted); // Верно!

Ошибка 2: Игнорирование проблем кодировки символов

Проблема: Неучет символов за пределами диапазона ASCII.

Решение: Всегда используйте кодировки Unicode, такие как UTF-8.

// Плохо - не сработает для не-ASCII символов
string text = "Café"; // Содержит é
byte[] bytes = Encoding.ASCII.GetBytes(text); // Теряет информацию

// Хорошо - обрабатывает все символы Unicode
byte[] bytes = Encoding.UTF8.GetBytes(text); // Сохраняет é

Ошибка 3: Утечки памяти из-за объектов кодировки

Проблема: Создание объектов кодировки в горячих путях.

Решение: Кэшируйте экземпляры кодировки как статические поля readonly.

// Плохо - создает новый экземпляр кодировки каждый раз
public byte[] Convert(string text)
{
    var encoding = new UTF8Encoding();
    return encoding.GetBytes(text);
}

// Хорошо - повторное использование экземпляра кодировки
private static readonly Encoding Utf8 = Encoding.UTF8;
public byte[] Convert(string text)
{
    return Utf8.GetBytes(text);
}

Ошибка 4: Обработка null-строк

Проблема: NullReferenceException при обработке null-строк.

Решение: Добавляйте проверки на null или используйте оператор объединения с null.

// Плохо - выбрасывает исключение при null
byte[] bytes = Encoding.UTF8.GetBytes(nullString); // Исключение!

// Хорошо - корректная обработка null
byte[] bytes = Encoding.UTF8.GetBytes(nullString ?? string.Empty);

Заключение

Преобразование строк в массивы байтов в C# требует понимания отношения между текстом и двоичными данными. Ключевые выводы включают:

1. Строки - это Unicode: строки .NET хранят символы как кодовые точки UTF-16, а не как необработанные байты
2. Кодирование необходимо: вы должны указать кодировку для преобразования символов в байты
3. UTF-8 рекомендуется: для большинства приложений UTF-8 обеспечивает наилучший баланс совместимости и производительности
4. Последительность важна: всегда используйте одну и ту же кодировку как для шифрования, так и для дешифрования
5. Вопросы производительности: кэшируйте объекты кодировки и используйте методы на основе span для оптимальной производительности

Для целей шифрования всегда используйте Encoding.UTF8.GetBytes() или new UTF8Encoding().GetBytes() для обеспечения последовательного представления в байтах. Избегайте прямого доступа к памяти строк и вместо этого полагайтесь на встроенные механизмы кодирования, предоставляемые .NET framework.

Помните, что выбор кодировки может повлиять как на безопасность, так и на совместимость. Хотя UTF-8 обычно является лучшим выбором для современных приложений, учитывайте ваши конкретные требования и системы, которые будут взаимодействовать с вашими зашифрованными данными.

Источники

1. Microsoft Learn - Обзор класса String
2. Microsoft Learn - Класс Encoding
3. Microsoft Learn - Класс UTF8Encoding
4. Документация .NET - Кодировка символов в .NET
5. Stack Overflow - Как преобразовать строку в массив байтов в C#
6. Microsoft Learn - Структура MemoryMarshal