Apple 与瑞士洛桑联邦理工学院 (EPFL) 合作，在 Hugging Face 上发布了 4M AI 模型的公开演示。这对于该公司来说是不寻常的，该公司对此类问题相当谨慎。
“大规模多模态掩模建模”（4M）模型的特点是通过数据掩模和重建进行多模态学习。这会训练变压器编码器/解码器。 B. 文本、图像、几何和语义数据以及神经网络的特征图。屏蔽和重建随机标记迫使模型学习底层结构和关系。这意味着可以同时处理多种任务和模式，并且可以快速合并新模式。
该演示主要关注图像处理以及生成的法线贴图和 3D 贴图。还输出图像的文本描述、元数据生成等。
