ND4S: N-Dimensional Arrays for Scala — различия между версиями

Материал из Национальной библиотеки им. Н. Э. Баумана
(Ссылки)
Строка 145: Строка 145:
 
|}
 
|}
  
==Ссылки==
+
==Источники==
 
* GitHub [Электронный ресурс]: ND4S: Scala bindings for ND4J / Дата обращения: 23.12.2016. — Режим доступа:https://github.com/deeplearning4j/nd4s
 
* GitHub [Электронный ресурс]: ND4S: Scala bindings for ND4J / Дата обращения: 23.12.2016. — Режим доступа:https://github.com/deeplearning4j/nd4s
 
* Wikipedia [Электронный ресурс]: ND4S / Дата обращения: 23.12.2016. — Режим доступа: https://en.wikipedia.org/wiki/ND4S
 
* Wikipedia [Электронный ресурс]: ND4S / Дата обращения: 23.12.2016. — Режим доступа: https://en.wikipedia.org/wiki/ND4S

Версия 12:47, 24 декабря 2016

ND4S: N-Dimensional Arrays for Scala
Создатели: Adam Gibson, Taisuke Oe
Разработчики: various
Постоянный выпуск: 0.0.3.5.5 / 15 September 2014 года; 5 years ago (2014-09-15)
Состояние разработки: active
Написана на: Java
Операционная система: Linux, OSX, Windows, Android
Платформа: Cross-platform
Тип ПО: Natural language processing, Deep learning, Machine vision
Лицензия: Apache 2.0
Веб-сайт github.com/deeplearning4j/nd4s

ND4S это бесплатное расширение языка программирования Scala с открытым исходным кодом, работающего на виртуальной машине Java, таким образом он совместим с Java и Clojure.

ND4S является научно-вычислительной библиотекой для линейной алгебры и манипулирования матрицами в производственной среде, интегрирована с Hadoop и Spark для работы с распределенными графическими процессорами. Он поддерживает n-мерные массивы для языков, основанных на JVM. ND4S в первую очередь была разработана группой в Сан-Франциско (Deeplearning4j) , во главе с Адамом Gibson.Он был создан под лицензией Apache Software Foundation.


Операции ND4S включают распределенные параллельные версий. Они могут занимать место в кластере и обрабатывать большие объемы данных. Манипуляции с матрицами происходят параллельно на процессорах или графических процессорах в облаке, и может работать в пределах кластеров Spark или Hadoop .

Тесты показывают , что ND4S работает примерно вдвое быстрее, чем Numpy на больших матрицах.

Установка ND4S

ND4S активно развивается. Вы можете клонировать репозиторий, скомпилировать его, и ссылаться на него в вашем проекте. Клонирование репозитория:

$ git clone https://github.com/deeplearning4j/nd4s.git

Компиляция проекта:

$ cd nd4s
$ sbt +publish-local

Другой путь, используя REPL:

$ cd nd4s
$ sbt test:console

Запустится REPL с импортированными автоматически org.nd4s.Implicits._ и org.nd4j.linalg.factory.Nd4j . Он использует jblas бэкенд по умолчанию.

scala> val arr = (1 to 9).asNDArray(3,3) 
arr: org.nd4j.linalg.api.ndarray.INDArray =
[[1.00,2.00,3.00]
 [4.00,5.00,6.00]
 [7.00,8.00,9.00]]
scala> val sub = arr(0->2,1->3)
sub: org.nd4j.linalg.api.ndarray.INDArray =
[[2.00,3.00]
 [5.00,6.00]]

Таблица команд и их эквивалентов

ND4S синтаксис Эквивалентный NumPy синтаксис Результат
Array(Array(1,2,3),Array(4,5,6)).toNDArray np.array([[1, 2 , 3], [4, 5, 6]]) [[1.0, 2.0, 3.0] [4.0, 5.0, 6.0]]
val arr = (1 to 9).asNDArray(3,3) arr = np.array([[1, 2 , 3], [4, 5, 6],[7, 8, 9]]) [[1.0, 2.0, 3.0] [4.0, 5.0, 6.0] ,[7.0, 8.0, 9.0]]
arr(0,0) arr[0,0] 1.0
arr(0,->) arr[0,:] [1.0, 2.0, 3.0]
arr(--->) arr[...] [[1.0, 2.0, 3.0] [4.0, 5.0, 6.0] ,[7.0, 8.0, 9.0]]
arr(0 -> 3 by 2, ->) arr[0:3:2,:] [[1.0, 2.0, 3.0] [7.0, 8.0, 9.0]]
arr(0 to 2 by 2, ->) arr[0:3:2,:] [[1.0, 2.0, 3.0] [7.0, 8.0, 9.0]]
arr.filter(_ > 3) [[0.0, 0.0, 0.0] [4.0, 5.0, 6.0] ,[7.0, 8.0, 9.0]]
arr.map(_ % 3) [[1.0, 2.0, 0.0] [1.0, 2.0, 0.0] ,[1.0, 2.0, 0.0]]
arr.filterBit(_ < 4) [[1.0, 1.0, 1.0] [0.0, 0.0, 0.0] ,[0.0, 0.0, 0.0]]
arr + arr arr + arr [[2.0, 4.0, 6.0] [8.0, 10.0, 12.0] ,[14.0, 16.0, 18.0]]
arr * arr arr * arr [[1.0, 4.0, 9.0] [16.0, 25.0, 36.0] ,[49.0, 64.0, 81.0]]
arr dot arr np.dot(arr, arr) [[30.0, 36.0, 42.0] [66.0, 81.0, 96.0] ,[102.0, 126.0, 150.0]]
arr.sumT np.sum(arr) 45.0 //returns Double value
val comp = Array(1 + i, 1 + 2 * i).toNDArray comp = np.array([1 + 1j, 1 + 2j]) [1.0 + 1.0i ,1.0 + 2.0i]
comp.sumT np.sum(comp) 2.0 + 3.0i //returns IComplexNumber value
for(row <- arr.rowP if row.get(0) > 1) yield row*2 [[8.00,10.00,12.00] [14.00,16.00,18.00]]
val tensor = (1 to 8).asNDArray(2,2,2) tensor = np.array([[[1, 2], [3, 4]],[[5,6],[7,8]]]) [[[1.00,2.00] [3.00,4.00]] [[5.00,6.00] [7.00,8.00]]]
for(slice <- tensor.sliceP if slice.get(0) > 1) yield slice*2 [[[10.00,12.00][14.00,16.00]]]
arr(0 -> 3 by 2, ->) = 0 [[0.00,0.00,0.00] [4.00,5.00,6.00] [0.00,0.00,0.00]]

Источники