Amazon S3

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 14:32, 29 декабря 2016.
Amazon Simple Storage Service
AWS (Amazon Web Services Logo).svg
Amazon S3 Bucket with Objects
Type of site
Cloud storage
Available in Russian
Owner Amazon.com
Website aws.amazon.com/s3/
Commercial Yes
Registration Required
Launched 14 March 2006 года; 13 years ago (2006-03-14)
Current status Active

Amazon S3 (Служба хранения) - это веб-сервис представленный Amazon Web Services. Amazon S3 обеспечивает хранение через интерфейсы веб-сервисов (REST, SOAP и BitTorrent).[1] Amazon S3 был запущен на его пятом общедоступном веб-сервисе в США в марте 2006 [2] и в Европе в ноябре 2007.[3]

В его начале Amazon заряжал конечных пользователей 0.15 доллара США в месяц гигабайта, с дополнительной платой за пропускную способность, используемую в отправке и получении данных и за запрос (получите или поместите), заряд.[4] 1 ноября 2008 оценка перемещалась в уровнях, где в конце пользователи, хранящие, больше чем 50 терабайты получают обесцененную оценку.[5] Amazon says that S3 uses the same scalable storage infrastructure that Amazon.com uses to run its own global e-commerce network.[6]

Amazon S3, как сообщают, хранит больше чем 2 триллиона объектов на апрель 2013.[7] Это возросло с 102 миллиарда объектов на Март 2010,[8] 64 миллиарда объектов на Август 2009,[9] 52 миллиарда на Март 2009,[10] 29 миллиарда на Октябрь 2008,[5] 14 миллиарда на Январь 2008, и 10 миллиарда на Октябрь 2007.[11] Использование S3 включает веб-хостинг, хостинг изображений и хранение для резервных систем. S3 гарантирует ежемесячное соглашение об уровне обслуживания времени работы на 99.9% (SLA),[12] т.е. не больше чем 43 минуты времени простоя в месяц.[13]

Проект

Amazon не обнародовал детали проекта S3, хотя это четко управляет данными с объектной архитектурой хранения. Согласно Amazon, проект S3 стремится обеспечивать масштабируемость, высокую доступность и низкую задержку по товарным затратам.

S3 предназначена для обеспечения 99.999999999% долговечности и 99.99% доступности объектов за определенный год, ,[14] хотя нет никакого соглашения об уровне обслуживания на прочность.


S3 хранит произвольные объекты компьютерные файлы до 5 терабайт, каждый из которых сопровождается до 2 килобайт метаданных. Объекты организованы в ведрами (каждое из которых принадлежит учетной записи веб-служб Amazon), и определены в каждом ведре уникальным, присвоенное пользователем ключа.Amazon Machine Image (МАСС), которые используются в Elastic Compute Cloud (EC2) могут быть экспортированы в S3 в виде пучков.[15]

Корзины и объекты могут быть созданы, в списке, и получить с помощью либо интерфейса HTTP REST-стиль или интерфейс SOAP. Кроме того, объекты могут быть загружены с помощью интерфейса GET HTTP и протокол BitTorrent.

Запросы разрешаются с помощью списка управления доступом, связанный с каждым ведром и объектом.

Имена блока и ключи выбраны так, чтобы объекты были адресуемым использованием Унифицированные указатели ресурсов HTTP:

  • http://s3.amazonaws.com/bucket/key
  • http://bucket.s3.amazonaws.com/key
  • http://bucket/key (where bucket is a DNS CNAME record pointing to bucket.s3.amazonaws.com)

Поскольку объекты доступны неизмененными клиентами HTTP, S3 может использоваться, чтобы заменить значительную существующую (статическую) инфраструктуру услуги веб-хостинга.[16] Amazon Механизм аутентификации AWS позволяет владельцу блока создавать аутентифицируемый URL с ограниченной во времени законностью. Т.е. кто-то может создать URL, который может быть передан третьему лицу для доступа в течение периода, такого как следующие 30 минут или следующие 24 часа.

Каждый элемент в блоке может также быть подан как BitTorrent канал. Хранилище S3 может действовать как узел семени к потоку, и любой клиент БитТоррента может получить файл. Это решительно уменьшает затраты пропускной способности для загрузки популярных объектов. В то время как использование БитТоррента уменьшает пропускную способность, AWS не обеспечивает собственное ограничение пропускной способности, и у пользователей как таковых нет доступа к автоматизированному контролю затрат. Это может привести к пользователям на "свободно-уровневом" S3 или маленьким пользователям хобби, накапливающим драматические счета. Представители AWS ранее утвердили, что такая функция была на таблице проекта с 2006 до 2010[17] но недавно утвердила, что функция больше не находится в разработке.[18]

Блок может быть сконфигурирован, чтобы сохранить информацию журнала HTTP к одноуровневому блоку; это может использоваться в более поздних операциях анализа данных.[19]

Хостинг всех веб-сайтов

Amazon S3 предоставляет возможности размещать статические веб-сайты с Индексной поддержкой документа и ошибочной поддержкой документа.[20] Эта поддержка была добавлена ​​в результате запросов пользователей по крайней мере, начиная с 2006 года. [21] Например, предположим, что Amazon S3 был настроен с CNAME записей принимающих

http://subdomain.example.com/. В прошлом, посетитель этого URL будет найти только в XML-формате список объектов вместо общей целевой страницы (например, index.html) для размещения случайных посетителей. Теперь, однако, веб-сайты, размещенные на S3 может назначить страницу по умолчанию для отображения, а другую страницу для отображения в случае частично недействительным URL.

Известные пользователи

Фото хостинг SmugMug использовал S3 с апреля 2006 года они испытали ряд первоначальных отключений и замедление темпов роста, но после того, как один год они описывали его как "значительно более надежными, чем нашей собственной внутренней памяти" и утверждал, что сохранили почти $ 1 млн в затраты на хранение.[22]

Существуют различные режима пользователя файловой системы (FUSE) основе файловых систем для Unix-подобных операционных систем (Linux, и т.д.), которые могут быть использованы для монтирования ведро S3 в качестве файловой системы. Следует отметить, что, как семантика файловой системы S3 не является то, что из файловой системы Posix, файловая система не может вести себя целиком, как и ожидалось.[23]

Файловые системы Apache Hadoop могут быть размещены на S3, так как его требования файловой системы частично встречен S3.[24] В результате Hadoop может быть использован для запуска алгоритмов MapReduce на EC2 серверах, чтение данных и запись результатов обратно в S3.

Netflix использует Amazon Web Services для их хранения и вычислительных операций с S3 является их система записи. Для устранения возможного ограничения консистенция S3, Netflix реализован инструмент, S3mper.[25] This stores the fileystem metadata: filenames, directory structure and permissions in Amazon DynamoDB.

Reddit размещается на S3.[26]

Dropbox (поставщик хранения),[27] Bitcasa,[28] и Tahoe-LAFS-on-S3,[29] among others, use S3 for online backup and synchronization services.

Mojang hosts Minecraft game updates and player skins on S3.[30]

Tumblr, Formspring, and Pinterest host images on S3.

Swiftype's CEO has mentioned that the company uses S3.[31]

S3 использовался в прошлом некоторыми предприятиями как долгосрочное решение для архивирования, пока Amazon Glacier не был выпущен.[citation needed]

API стал популярным методом для объектного хранения.[32] В результате все больше приложений было создано, чтобы исходно поддерживать S3 API.[33] Это включает приложения, которые пишут данные в AWS S3, а также в объектно-ориентированные памяти S3-compatible:

Тип Название компаний Продукт
Клиент резервного копирования Программное обеспечение ООО Резервное копирование Arq[34]
Клиент резервного копирования CloudBerry Lab CloudBerry Backup[35]
Клиент резервного копирования open-source Duplicati[36]
Файловый браузер odrive odrive[37]
Резервное копирование MySQL Oracle Резервное копирование предприятия MySQL
Резервное копирование Oracle Database Oracle Безопасный резервный менеджер по облаку Oracle[38]
Сервер резервного копирования Commvault Commvault[39]
Сервер резервного копирования Veritas NetBackup[40]
Сервер резервного копирования Asigra Облачная резервная копия Asigra[41]
Сервер резервного копирования Rubrik Rubrik[42]
Шлюз "облачного" хранилища CTERA Networks C00 Series[43]
Шлюз "облачного" хранилища Avere FXT Series[44]
Шлюз "облачного" хранилища EMC CloudArray[45]
Шлюз "облачного" хранилища Microsoft StorSimple[46]
Шлюз "облачного" хранилища Nasuni NF Series[47]
Шлюз "облачного" хранилища NetApp Altavault[48]

Шлюз "облачного" хранилища

Panzura Global File System[49]
Синхронизация & Деление Упрощающее хранение SME

Amazon S3 регистрационные журналы

Сервис Amazon S3 позволяет пользователям включить или отключить ведение журнала. Если включена, логи хранятся на Amazon S3 ведра, которые затем могут быть проанализированы. Эти журналы содержат полезную информацию, такую как,

  • Дата / время доступа к вашему контенту
  • Используемый протокол и т.д..
  • HTTP Статус
  • Время оборота

Эти журналы могут анализироваться и управляться при помощи сторонних инструментов, таких как S3Stat, Cloudlytics, Qloudstat, AWS Stats или Splunk.

S3 API и конкурирующие службы

Широкое принятие Amazon S3 и связанные инструменты дали начало конкурирующим службам на основе S3 API. Эти службы используют стандартный интерфейс программирования; однако, они дифференцируются их базовыми технологиями и поддерживающий бизнес-модели.[50] Стандарт "облачного" хранилища (как электрические и сетевые стандарты) позволяет конкурировать, поставщики услуг, чтобы разработать их службы и клиенты, использующие различные части по-разному и все же, передают и предоставляют следующие преимущества:[51]

  1. Усильте конкуренцию, обеспечив ряд правил и единое игровое поле, поощряя выход на рынок меньшими компаниями, которые могли бы иначе быть устранены.
  2. Поддержка инновации "облачным" хранилищем & поставщиками инструмента и разработчиками, потому что они могут фокусироваться на улучшении их собственных продуктов и услуг вместо того, чтобы фокусироваться на совместимости.
  3. Возможность экономии за счет роста производства в реализации (т.е., если поставщик услуг встречается с отключением электричества или поскольку клиенты перерастают свои инструменты и нуждаются в более быстрых операционных системах или инструментах, они могут легко выгрузить решения).
  4. Предоставление своевременные решения для поставки функциональности в ответ на требования рынка (т.е., поскольку деловой рост в новых расположениях повышает спрос, клиенты могут легко изменить или добавить поставщиков услуг просто, подписавшись на новую службу).

Примеры конкуренции S3 совместные с реализацией хранения включают:

  • Object Storage
  • Scality RING
  • Google Cloud Storage
  • CleverSafe
  • Rackspace's Cloud Files
  • Openstack
  • DDN Web Object Scaler (WOS) for Cloud storage
  • Apache CloudStack
  • Connectria's Cloud Storage[52][53] in 2011 became the first US cloud storage service provider based on the Scality RING organic storage technology[54][55]
  • Eucalyptus
  • Nimbula (acquired by Oracle)
  • Riak CS,[56] which implements a subset of the S3 API including REST and ACLs on objects and buckets.
  • Ceph with RADOS gateway.[57]

Инструменты Amazon S3

Amazon S3 предоставляет API сторонним разработчикам. Это описывает различные операции API, связанный запрос и структуры ответа и коды ошибки.[58]

Примечания

  1. Amazon S3, Cloud Computing Storage for Files, Images, Videos. Aws.amazon.com (2006-03-01). Retrieved on 2013-08-09.
  2. "Amazon Web Services Launches "Amazon S3"" (Press release). Amazon.com. 2006-03-14. Retrieved 2015-09-22. 
  3. "Amazon Web Services Offers European Storage for Amazon S3" (Press release). Amazon.com. 2007-11-06. Retrieved 2015-09-22. 
  4. "Amazon S3 Pricing". Amazon.com. 2009-02-05. Retrieved 2014-05-02. 
  5. 5,0 5,1 "Amazon S3 - Busier Than Ever". Amazon.com. 2008-10-08. 
  6. Та же инфраструктура хранения данных, что использование Amazon, чтобы выполнить его собственную глобальную сеть веб-сайтов
  7. - Amazon S3 - Два триллиона объектов, 1.1 Миллион запросов / Второй
  8. Brian Lillie of Equinix сказал, что Amazon теперь размещает 102 миллиарда объектов в S3
  9. S3 (Amazon's Simple Storage Service) alone has over 64 billion objects in it.
  10. Только год назад, в S3 было 18 миллиардов объектов. На сегодняшний день есть 52 миллиарда
  11. Vogels, Werner (2008-03-19). "Happy Birthday, Amazon S3!". All Things Distributed. 
  12. Amazon S3 SLA
  13. 60 мин/час * 24 часов в день * 30 дней * 0.1% = 43.2
  14. Amazon S3 Protecting Your Data
  15. Starting Websphere in Cloud and saving the data in S3
  16. How to use Amazon S3 for Web Hosting
  17. AWS Developer Forums: Limit my own bandwidth?. Forums.aws.amazon.com. Retrieved on 2013-08-09.
  18. AWS Developer Forums: What is the status on the bill capping. Forums.aws.amazon.com. Retrieved on 2013-08-09.
  19. http://docs.aws.amazon.com/AmazonS3/latest/dev/ServerLogs.html Server Access Logging
  20. Amazon Simple Storage Service. Docs.amazonwebservices.com. Retrieved on 2013-08-09.
  21. Garnaat, Mitch (19 Nov 2009). "Re: default key or 'default document' - is it possible to specify in S3?". Retrieved 21 Sep 2010. 
  22. "Amazon S3: Show Me the Money". SmugMug Blog. SmugMug. November 10, 2006. 
  23. "Comparison of S3QL and other S3 file systems". Retrieved 2012-06-29. 
  24. "Hadoop Filesystem Specification". 
  25. "S3mper: Consistency in the Cloud". 
  26. "AWS Case Study: reddit". aws.amazon.com. 2015. Retrieved March 18, 2015. 
  27. "Where are my files stored?". November 28, 2010. 
  28. "What is Tahoe-LAFS-on-S3?". August 21, 2012. 
  29. "Minecraft Beta 1.2_02". January 21, 2010. 
  30. "Swiftype Explains Their Cloud Stack". July 1, 2013. 
  31. Lelii, Sonia (23 September 2013). "Amazon S3 API for cloud storage leads pack, for now". TechTarget.com. Retrieved 31 May 2016. 
  32. Evans, Chris (12 January 2016). "Has S3 Become the De-Facto API Standard?". Architecting.it. Retrieved 31 May 2016. 
  33. Sadun, Erica (6 November 2012). "Arq cloud backup adds low-cost Amazon Glacier support". www.engadget.com. Retrieved 31 May 2016. 
  34. Moran, Joe (1 December 2015). "Data Backup Software Review: CloudBerry Lab Backup 4.5". www.smallbusinesscomputing.com. Retrieved 31 May 2016. 
  35. Sanders, James (4 August 2014). "Securely back up personal files with Duplicati: Q&A with the open source client's creators". www.TechRepublic.com. Retrieved 31 May 2016. 
  36. Lohnash, Mike (19 June 2015). "Odrive Review: One Folder for All Your Clouds". www.BackupReview.com. Retrieved 31 May 2016. 
  37. "Oracle Database Backup To Cloud: Amazon Simple Storage Service (S3)" (PDF). Oracle.com. Retrieved 31 May 2016. 
  38. "Cloud Storage Support". Commvault.com. Retrieved 31 May 2016. 
  39. "Veritas launches NetBackup 7.7 with emphasis on cloud backup". SearchDataBackup (in английский). Retrieved 2016-05-31. 
  40. "Asigra, Veeam remain top users' choice for backup applications". SearchDataBackup (in английский). Retrieved 2016-05-31. 
  41. "Startup Rubrik Aiming to Erase Backup, Recovery Software". www.eweek.com. Retrieved 2016-05-31. 
  42. Ibm; Emc; Netapp; Seagate; Hp; Hill, Seagate rolls storage kit for manufacturers down Dot. "CTERA Networks offers up in-cloud server backup". Spectralogic CTO talks up hybrid flash-tape cartridge. Welcome tape robot overlords and backup, CTERA Networks offers up in-cloud server. Retrieved 2016-05-31. 
  43. Mellor, Chris (7 October 2015). "Like a wedding cake: Avere unveils three-tier AWS cloud NAS". TheRegister.com. Retrieved 8 June 2016. 
  44. Armstrong, Adam (28 January 2015). "EMC CloudArray 5.0 Launched". StorageReview.com. Retrieved 8 June 2016. 
  45. Mackie, Kurt (1 June 2015). "Microsoft StorSimple Extends Cloud Support to AWS, OpenStack". RedmondChannelPartner.com. Retrieved 8 June 2016. 
  46. Mellor, Chris (14 May 2015). "Azure gives AWS the blues again in Nasuni cloud storage poll". TheRegister.com. Retrieved 8 June 2016. 
  47. Ramel, David (28 May 2015). "NetApp Introduces AltaVault for Cloud Backup". AWSInsider.net. Retrieved 8 June 2016. 
  48. Knuth, Gabe (26 May 2015). "Panzura explains their Global File System and how they can help you deploy XenDesktop from AWS". Retrieved 7 June 2016 – via BrianMadden.com. 
  49. Watters, Audrey. "Cloud Community Debates, Is Amazon S3's API the Standard? (And Should It Be?)". SAY Media, Inc. Retrieved 19 December 2012. 
  50. Committee on Standards Workshop Planning, Board on Telecommunications and Computer Applications, Commission on Engineering and Technical Systems, National Research Council (1990). Crossroads of Information Technology Standards. Washington, DC:: The National Academies Press, 1990. pp. 36–37. 
  51. "Connectria Cloud Storage - Amazon S3® Compatible Cloud Storage Service". Connectria. Connectria. Retrieved 19 December 2012. 
  52. "Connectria Hosting Launches Cloud Storage Solution". Connectria Hosting. Retrieved 19 December 2012. 
  53. Ross, Rose (February 22, 2011). "Connectria selects Scality to launch a public cloud storage service". RealWire. Retrieved 19 December 2012. 
  54. "Cloud Storage Providers". Twinstrata. Twinstrata. Retrieved 19 December 2012. 
  55. Riak CS. Basho (2013-01-18). Retrieved on 2013-08-09.
  56. Ceph Object Gateway S3 API — Ceph Documentation. Ceph.com. Retrieved on 2013-08-09.
  57. Amazon Simple Storage Service Documentation

Ссылки