Если антивирус не контролирует изменения пользовательских расширений, то он автоматически не видит шифрование нетипичных файлов.
Откуда вам это известно?, в документации написаны общие критерии при оценке вредоносности файла, + описание по которому понятно, что работают у продукта поведенческие алгоритмы и ML.
Как "ты" отличишь по для шифрования, самописное например или легитимное не вредоносное, от ransomware, с похожими вызовами api и файловыми операциями?, без наличия данных в базах о семпле, облаке, белых списках по этому софту?. Только по другим признакам, более свойственным именно малваре. Но тут уже может быть и ложное срабатывание - легко.
По поводу расширений файлов:
Вот для Guard в "параноидальном"
В данном режиме при любом обращении (создании, чтении, записи, запуске) производится проверка всех файлов и загрузочных секторов на жестких и сетевых дисках, а также на съемных носителях.
Данный режим обеспечивает максимальный уровень защиты, но значительно увеличивает нагрузку на компьютер.
Не проверяет по умолчанию только контейнеры - это то же включить можно, но всё вместе будет ощутимо, да же на мощных Пк.
Сканер по умолчанию проверяет контейнеры, архивы и почтовики, исключение профиль "Быстрая" , без архивов/почтовых.
В деталях знают только разработчики, что и как работает, но это коммерческая тайна, т.к вирусописатели не дремлют в том числе, и нет никакой гарантии, что нет тут людей на форуме, которые изучают продукт в целях обхода его защиты и лучшего сокрытия детекта, а не просто праздного технического интереса.
Основания у меня есть так думать, с учётом тех семплов что я заливал в лабу, и информации откуда я их взял и при каких обстоятельствах.