A foundation model is an AI model that is trained on broad data such that it can be applied across a wide range of use cases.[1] Foundation models have transformed AI, powering prominent chatbots and generative AI.[1] The Stanford Institute for Human-Centered Artificial Intelligence's (HAI) Center for Research on Foundation Models (CRFM) created and popularized the term.[2] Foundation models are general-purpose technologies that can support a diverse range of use cases. Building foundation models is often highly resource-intensive, with the most expensive models costing hundreds of millions of dollars to pay for the underlying data and compute.[3] Early examples of foundation models were pre-trained language models (LMs) like Google's BERT[4] and OpenAI's "GPT-n" series. Beyond text, foundation models have been developed across a range of modalities—including DALL-E and Flamingo[5] for images, MusicGen[6] for music, and RT-2[7] for robotic control. Foundation models constitute a broad shift in AI development: foundation models are being built for astronomy,[8] radiology,[9] robotics,[10] genomics,[11] music,[12] coding,[13] and mathematics.[14] Базовая модель — это модель ИИ, которая обучается на обширных данных и может применяться в широком диапазоне вариантов использования.[1] Модели Foundation преобразовали искусственный интеллект, обеспечив работу выдающихся чат-ботов и генеративного искусственного интеллекта.[1] Центр исследований фундаментальных моделей (CRFM) Стэнфордского института человеко-ориентированного искусственного интеллекта (HAI) создал и популяризировал этот термин.Базовые модели — это технологии общего назначения, которые могут поддерживать самые разнообразные варианты использования. Создание базовых моделей часто требует больших ресурсов: самые дорогие модели обходятся в сотни миллионов долларов для оплаты базовых данных и вычислений.[3] Ранними примерами базовых моделей были предварительно обученные языковые модели (LM), такие как BERT[4] от Google и серия «GPT-n» от OpenAI. Помимо текста, базовые модели были разработаны для различных модальностей, включая DALL-E и Flamingo[5] для изображений, MusicGen[6] для музыки и RT-2[7] для роботизированного управления. Базовые модели представляют собой широкий сдвиг в развитии ИИ: базовые модели создаются для астрономии,[8] радиологии,[9] робототехники,[10] геномики,[11] музыки,[12] кодирования[13] и математики.[ 14]
|