Рассмотрен процесс реферирования мультимодальной информации. То есть, исходную информацию можно представлять в виде текста, изображения, аудио или видео. Предложена модель процесса реферирования, улучшенная за счет введения дополнительного этапа, позволяющего обрабатывать мультимодальную информацию. Приведены алгоритм функционирования системы реферирования на этом этапе и модель процесса преобразования исходного документа во внутренний формат системы.