Параллельные Процессы и Параллельное Программирование / SNNSv4.2.Manual
.pdf
SNNS
Stuttgart Neural Network Simulator
User Manual, Version 4.2
UNIVERSITY OF STUTTGART
INSTITUTE FOR PARALLEL AND DISTRIBUTED HIGH PERFORMANCE SYSTEMS (IPVR)
Applied Computer Science { Image Understanding
UNIVERSITY OF TUBINGEN
WILHELM{SCHICKARD{INSTITUTE
FOR COMPUTER SCIENCE
Department of Computer Architecture
UNIVERSITY OF STUTTGART
INSTITUTE FOR PARALLEL AND DISTRIBUTED
HIGH PERFORMANCE SYSTEMS (IPVR)
Applied Computer Science { Image Understanding
UNIVERSITY OF TUBINGEN
WILHELM{SCHICKARD{INSTITUTE
FOR COMPUTER SCIENCE
Department of Computer Architecture
SNNS
Stuttgart Neural Network Simulator
User Manual, Version 4.2
Andreas Zell, Gunter Mamier, Michael Vogt Niels Mache, Ralf Hubner, Sven Doring
Kai-Uwe Herrmann, Tobias Soyez, Michael Schmalzl Tilman Sommer, Artemis Hatzigeorgiou, Dietmar Posselt Tobias Schreiner, Bernward Kett, Gianfranco Clemente Jens Wieland, Jurgen Gatter
external contributions by
Martin Reczko, Martin Riedmiller
Mark Seemann, Marcus Ritt, Jamie DeCoster Jochen Biedermann, Joachim Danz, Christian Wehrfritz
Randolf Werner, Michael Berthold, Bruno Orsier
All Rights reserved
Contents
1 |
Introduction to SNNS |
1 |
2 |
Licensing, Installation and Acknowledgments |
4 |
2.1SNNS License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2How to obtain SNNS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 |
Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
7 |
2.4 |
Contact Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
11 |
2.5Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.6New Features of Release 4.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 Neural Network Terminology |
18 |
3.1Building Blocks of Neural Nets . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.1 Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.2Connections (Links) . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.3Sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2 Update Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3Learning in Neural Nets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4Generalization of Neural Networks . . . . . . . . . . . . . . . . . . . . . . . 27
3.5An Example of a simple Network . . . . . . . . . . . . . . . . . . . . . . . . 28
4 Using the Graphical User Interface |
29 |
4.1 Basic SNNS usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
29 |
4.1.1 Startup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
29 |
4.1.2Reading and Writing Files . . . . . . . . . . . . . . . . . . . . . . . . 30
4.1.3Creating New Networks . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.4Training Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.4.1Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.4.2Selecting a learning function . . . . . . . . . . . . . . . . . 34
4.1.5Saving Results for Testing . . . . . . . . . . . . . . . . . . . . . . . . 36
4.1.6Further Explorations . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.1.7SNNS File Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
i
ii |
CONTENTS |
4.1.7.1 |
Pattern les . . . . . . . . . . . . . . . . . . . . . . . . . . 36 |
4.1.7.2Network les . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2 |
XGUI Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
37 |
|
4.3 |
Windows of XGUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
38 |
|
|
4.3.1 |
Manager Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
40 |
|
4.3.2 |
File Browser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
41 |
|
|
4.3.2.1 Loading and Saving Networks . . . . . . . . . . . . . . . . |
42 |
4.3.2.2Loading and Saving Patterns . . . . . . . . . . . . . . . . . 43
4.3.2.3 |
Loading and Saving Con gurations . . . . . . . . . . . . . |
43 |
4.3.2.4 |
Saving a Result le . . . . . . . . . . . . . . . . . . . . . . |
43 |
4.3.2.5 |
De ning the Log File . . . . . . . . . . . . . . . . . . . . . |
44 |
4.3.3Control Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.3.4Info Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.3.4.1 Unit Function Displays . . . . . . . . . . . . . . . . . . . . 53
4.3.52D Displays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.5.1 Setup Panel of a 2D Display . . . . . . . . . . . . . . . . . 54
4.3.6Graph Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3.7Weight Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.8Projection Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3.9Print Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.3.10Class Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.11 |
Help Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
63 |
4.3.12 |
Shell window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
64 |
4.3.13 |
Con rmer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
66 |
4.4 Parameters of the Learning Functions . . . . . . . . . . . . . . . . . . . . . |
67 |
|
4.5Update Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.6Initialization Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.7Pattern Remapping Functions . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.8Creating and Editing Unit Prototypes and Sites . . . . . . . . . . . . . . . . 90
5 Handling Patterns with SNNS |
92 |
5.1Handling Pattern Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.2Fixed Size Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3Variable Size Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.4Patterns with Class Information and Virtual Pattern Sets . . . . . . . . . . 98
5.5Pattern Remapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
CONTENTS |
iii |
6 Graphical Network Editor |
103 |
6.1Editor Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.2Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.2.1Selection of Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.2.2Selection of Links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.3Use of the Mouse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.4 |
Short Command Reference . . . . . . . . . . . . . |
. . . . . . . . . . . . . . 106 |
6.5 |
Editor Commands . . . . . . . . . . . . . . . . . . |
. . . . . . . . . . . . . . 110 |
6.6 |
Example Dialogue . . . . . . . . . . . . . . . . . . |
. . . . . . . . . . . . . . 117 |
7 Graphical Network Creation Tools |
119 |
|
7.1 |
BigNet for Feed-Forward and Recurrent Networks |
. . . . . . . . . . . . . . 119 |
|
7.1.1 Terminology of the Tool BigNet . . . . . . . |
. . . . . . . . . . . . . . 119 |
7.1.2 |
Buttons of BigNet |
. . . . . . . . . . . . . . . . . . . . . . |
. . |
. . |
. |
. |
121 |
7.1.3 |
Plane Editor . . . |
. . . . . . . . . . . . . . . . . . . . . . |
. . |
. . |
. |
. |
123 |
7.1.4Link Editor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.1.5 Create Net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.2BigNet for Time-Delay Networks . . . . . . . . . . . . . . . . . . . . . . . . 127
7.2.1Terminology of Time-Delay BigNet . . . . . . . . . . . . . . . . . . . 127
7.2.2 Plane Editor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.2.3 Link Editor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.3BigNet for ART-Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.4 BigNet for Self-Organizing Maps . . . . . . . . . . . . . . . . . . . . . . . . 131
7.5BigNet for Autoassociative Memory Networks . . . . . . . . . . . . . . . . . 132
7.6BigNet for Partial Recurrent Networks . . . . . . . . . . . . . . . . . . . . . 133
7.6.1BigNet for Jordan Networks . . . . . . . . . . . . . . . . . . . . . . . 133
7.6.2BigNet for Elman Networks . . . . . . . . . . . . . . . . . . . . . . . 134
8 Network Analyzing Tools |
136 |
8.1Inversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8.1.1The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8.1.2Inversion Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.1.3Example Session . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
8.2 Network Analyzer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.2.1The Network Analyzer Setup . . . . . . . . . . . . . . . . . . . . . . 142
8.2.2The Display Control Window of the Network Analyzer . . . . . . . . 144
iv |
CONTENTS |
9 Neural Network Models and Functions |
145 |
9.1 Backpropagation Networks . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 145 |
9.1.1Vanilla Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . 145
9.1.2Enhanced Backpropagation . . . . . . . . . . . . . . . . . . . . . . . 145
9.1.3 Batch Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . 146
9.1.4Backpropagation with chunkwise update . . . . . . . . . . . . . . . . 146
9.1.5Backpropagation with Weight Decay . . . . . . . . . . . . . . . . . . 148
9.2Quickprop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
9.3RPROP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
9.3.1Changes in Release 3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . 148
9.3.2 General Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
9.3.3Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
9.4 Rprop with adaptive weight-decay (RpropMAP) . . . . . . . . . . . . . . . 150
9.4.1Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
9.4.2Determining the weighting factor . . . . . . . . . . . . . . . . . . . 151
9.5Backpercolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
9.6 Counterpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
9.6.1Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
9.6.2Initializing Counterpropagation . . . . . . . . . . . . . . . . . . . . . 153
9.6.3Counterpropagation Implementation in SNNS . . . . . . . . . . . . . 154
9.7 Dynamic Learning Vector Quantization (DLVQ) . . . . . . . . . . . . . . . 154
9.7.1DLVQ Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
9.7.2DLVQ in SNNS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
9.7.3Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
9.8 Backpropagation Through Time (BPTT) . . . . . . . . . . . . . . . . . . . 157
9.9The Cascade Correlation Algorithms . . . . . . . . . . . . . . . . . . . . . . 159 9.9.1 Cascade-Correlation (CC) . . . . . . . . . . . . . . . . . . . . . . . . 160
9.9.1.1The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 160
9.9.1.2 Mathematical Background . . . . . . . . . . . . . . . . . . 160
9.9.2Modi cations of Cascade-Correlation . . . . . . . . . . . . . . . . . . 162
9.9.2.1 Sibling/Descendant Cascade-Correlation (SDCC) . . . . . 162
9.9.2.2Random Layer Cascade Correlation (RLCC) . . . . . . . . 163
9.9.2.3 Static Algorithms . . . . . . . . . . . . . . . . . . . . . . . 163
9.9.2.4Exponential CC (ECC) . . . . . . . . . . . . . . . . . . . . 163
9.9.2.5Limited Fan-In Random Wired Cascade Correlation (LFCC)164
9.9.2.6Grouped Cascade-Correlation (GCC) . . . . . . . . . . . . 164
9.9.2.7Comparison of the modi cations . . . . . . . . . . . . . . . 164
CONTENTS |
v |
9.9.3 Pruned-Cascade-Correlation (PCC) . . . . . . . . . . . . . . . . . . 165
9.9.3.1The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 165
9.9.3.2 Mathematical Background . . . . . . . . . . . . . . . . . . 165
9.9.4Recurrent Cascade-Correlation (RCC) . . . . . . . . . . . . . . . . . 165
9.9.5Using the Cascade Algorithms/TACOMA in SNNS . . . . . . . . . . 166
9.10Time Delay Networks (TDNNs) . . . . . . . . . . . . . . . . . . . . . . . . . 169
9.10.1 TDNN Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . 169
9.10.2TDNN Implementation in SNNS . . . . . . . . . . . . . . . . . . . . 170
9.10.2.1Activation Function . . . . . . . . . . . . . . . . . . . . . . 171
9.10.2.2Update Function . . . . . . . . . . . . . . . . . . . . . . . . 171
9.10.2.3Learning Function . . . . . . . . . . . . . . . . . . . . . . . 171
|
9.10.3 |
Building and Using a Time Delay Network . . . . . . . . |
. . . . . . 171 |
|
9.11 |
Radial Basis Functions (RBFs) . . . . . . . . . . . . . . . . . . . |
. . . . . . 172 |
||
|
9.11.1 |
RBF Fundamentals . . . . . . . . . . . . . . . . . . . . . . |
. . . . . . 172 |
|
|
9.11.2 |
RBF Implementation in SNNS . . . . . . . . . . . . . . . |
. . . . . . 175 |
|
|
|
9.11.2.1 |
Activation Functions . . . . . . . . . . . . . . . |
. . . . . . 175 |
|
|
9.11.2.2 |
Initialization Functions . . . . . . . . . . . . . . |
. . . . . . 176 |
|
|
9.11.2.3 |
Learning Functions . . . . . . . . . . . . . . . . |
. . . . . . 180 |
|
9.11.3 |
Building a Radial Basis Function Application . . . . . . . |
. . . . . . 181 |
|
9.12 |
Dynamic Decay Adjustment for RBFs (RBF{DDA) . . . . . . . |
. . . . . . 183 |
||
|
9.12.1 |
The Dynamic Decay Adjustment Algorithm . . . . . . . . |
. . . . . . 183 |
|
|
9.12.2 |
Using RBF{DDA in SNNS . . . . . . . . . . . . . . . . . |
. . . . . . 186 |
|
9.13 |
ART Models in SNNS . . . . . . . . . . . . . . . . . . . . . . . . |
. . . . . . 187 |
||
|
9.13.1 |
ART1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
. . . . . . 188 |
|
|
|
9.13.1.1 |
Structure of an ART1 Network . . . . . . . . . . |
. . . . . . 188 |
|
|
9.13.1.2 |
Using ART1 Networks in SNNS . . . . . . . . . |
. . . . . . 189 |
|
9.13.2 |
ART2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
. . . . . . 191 |
|
|
|
9.13.2.1 |
Structure of an ART2 Network . . . . . . . . . . |
. . . . . . 191 |
|
|
9.13.2.2 |
Using ART2 Networks in SNNS . . . . . . . . . |
. . . . . . 191 |
|
9.13.3 |
ARTMAP . . . . . . . . . . . . . . . . . . . . . . . . . . . |
. . . . . . 194 |
|
|
|
9.13.3.1 |
Structure of an ARTMAP Network . . . . . . . |
. . . . . . 194 |
9.13.3.2 Using ARTMAP Networks in SNNS . . . . . . . . . . . . . 194 9.13.4 Topology of ART Networks in SNNS . . . . . . . . . . . . . . . . . . 195
9.14Self-Organizing Maps (SOMs) . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.14.1 SOM Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
9.14.2SOM Implementation in SNNS . . . . . . . . . . . . . . . . . . . . . 199
9.14.2.1The KOHONEN Learning Function . . . . . . . . . . . . . 199
9.14.2.2The Kohonen Update Function . . . . . . . . . . . . . . . . 200
vi |
CONTENTS |
|
9.14.2.3 |
The Kohonen Init Function . . . . . . . . . . . . . . . . . . 200 |
|
9.14.2.4 |
The Kohonen Activation Functions . . . . . . . . . . . . . |
200 |
9.14.2.5 |
Building and Training Self-Organizing Maps . . . . . . . . |
200 |
9.14.2.6Evaluation Tools for SOMs . . . . . . . . . . . . . . . . . . 201
9.15Autoassociative Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.15.1 |
General Characteristics . . . . . . |
. . . . . . . . . . . . . . . . . . . 202 |
|
9.15.2 |
Layout of Autoassociative Networks |
. . . . . . . . . . . . . . . . . . |
203 |
9.15.3 |
Hebbian Learning . . . . . . . . . |
. . . . . . . . . . . . . . . . . . . |
203 |
9.15.4McClelland & Rumelhart's Delta Rule . . . . . . . . . . . . . . . . . 204
9.16Partial Recurrent Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
9.16.1Models of Partial Recurrent Networks . . . . . . . . . . . . . . . . . 205
9.16.1.1Jordan Networks . . . . . . . . . . . . . . . . . . . . . . . . 205
9.16.1.2Elman Networks . . . . . . . . . . . . . . . . . . . . . . . . 205
9.16.1.3Extended Hierarchical Elman Networks . . . . . . . . . . . 206
9.16.2Working with Partial Recurrent Networks . . . . . . . . . . . . . . . 206
9.16.2.1The Initialization Function JE Weights . . . . . . . . . . . 207
|
|
9.16.2.2 |
Learning Functions . . . . . . . . . . . . . . . . . . . . . . |
207 |
|
|
|
9.16.2.3 |
Update Functions . . . . . . . . . . . . . . . . . . . . . . . |
208 |
|
9.17 Stochastic Learning Functions . . . . . . . . . . . . . . . . . . . . . . . . . . 208 |
|||||
|
9.17.1 |
Monte-Carlo . . . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 209 |
||
|
9.17.2 |
Simulated Annealing . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 209 |
||
9.18 |
Scaled Conjugate Gradient (SCG) . . . . . . |
. . . . . . . . . . . . . . . . . 209 |
|||
|
9.18.1 |
Conjugate Gradient Methods (CGMs) |
. . . . . . . . . . . . . . . . . 210 |
||
|
9.18.2 |
Main features of SCG . . . . . . . . . |
. . . . . . . . . . . . . . . . . 210 |
||
|
9.18.3 |
Parameters of SCG . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 211 |
||
|
9.18.4 |
Complexity of SCG . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 211 |
||
9.19 |
TACOMA Learning . . . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 212 |
|||
|
9.19.1 |
Overview . . . . . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . 212 |
||
|
9.19.2 |
The algorithm in detail . . . . . . . . |
. . . . . . . . . . . . . . . . . 212 |
||
|
9.19.3 |
Advantages/Disadvantages TACOMA |
. . . . . . . . . . . . . . . . . 215 |
||
10 Pruning Algorithms |
|
216 |
|||
10.1Background of Pruning Algorithms . . . . . . . . . . . . . . . . . . . . . . . 216
10.2Theory of the implemented algorithms . . . . . . . . . . . . . . . . . . . . . 217 10.2.1 Magnitude Based Pruning . . . . . . . . . . . . . . . . . . . . . . . . 217
10.2.2 |
Optimal Brain Damage |
. . . . . . . . . . . . . . . . . . . . . . . . . 217 |
||||
10.2.3 |
Optimal Brain Surgeon |
. . . . . . . . . . . . . . . . . . . . . . . . . 218 |
||||
10.2.4 |
Skeletonization . . . . . |
. . . . . . . . |
. . . . |
. . |
. . . . . . . . . . . |
218 |
10.2.5 |
Non-contributing Units |
. . . . . . . . |
. . . . |
. . |
. . . . . . . . . . . |
219 |
CONTENTS |
vii |
10.3 Pruning Nets in SNNS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
11 3D-Visualization of Neural Networks |
222 |
11.1Overview of the 3D Network Visualization . . . . . . . . . . . . . . . . . . . 222
11.2Use of the 3D-Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
11.2.1Structure of the 3D-Interface . . . . . . . . . . . . . . . . . . . . . . 223
11.2.2Calling and Leaving the 3D Interface . . . . . . . . . . . . . . . . . . 223
11.2.3 Creating a 3D-Network . . . . . . . . . |
. . . . . . . . . . . . . . . . 223 |
||
11.2.3.1 |
Concepts . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . 223 |
|
11.2.3.2 |
Assigning a new z-Coordinate |
. . . . . . . . . . . . . . . . |
224 |
11.2.3.3 |
Moving a z-Plane . . . . . . . |
. . . . . . . . . . . . . . . . |
225 |
11.2.3.4Displaying the z-Coordinates . . . . . . . . . . . . . . . . . 225
11.2.3.5Example Dialogue to Create a 3D-Network . . . . . . . . . 225
11.2.43D-Control Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
11.2.4.1Transformation Panels . . . . . . . . . . . . . . . . . . . . . 229
11.2.4.2 |
Setup Panel |
. . . . . . . . . . . . . . . . . . . . |
. . |
. . |
. |
. |
230 |
11.2.4.3 |
Model Panel |
. . . . . . . . . . . . . . . . . . . . |
. . |
. . |
. |
. |
230 |
11.2.4.4Project Panel . . . . . . . . . . . . . . . . . . . . . . . . . . 231
11.2.4.5Light Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
11.2.4.6Unit Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
11.2.4.7Links Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
11.2.4.8Reset Button . . . . . . . . . . . . . . . . . . . . . . . . . . 233
|
11.2.4.9 |
Freeze Button . . . . . . . . . . . . . . . . . . . . . . . . . 233 |
||||
11.2.5 |
3D-Display Window |
. . . . . . . . . . . . . . . . . . . . . . . . . . . 233 |
||||
12 Batchman |
|
|
|
|
|
235 |
12.1 Introduction . |
. . . . . . . . . . . . . . . . . . . . . . . |
. . |
. . . . . . . . . . |
235 |
||
12.1.1 |
Styling |
Conventions |
. . . . . . . . . . . . . . . |
. . |
. . . . . . . . . . |
235 |
12.1.2Calling the Batch Interpreter . . . . . . . . . . . . . . . . . . . . . . 236
12.2Description of the Batch Language . . . . . . . . . . . . . . . . . . . . . . . 237
12.2.1Structure of a Batch Program . . . . . . . . . . . . . . . . . . . . . . 237
12.2.2Data Types and Variables . . . . . . . . . . . . . . . . . . . . . . . . 238
12.2.3 |
Variables . . . . . . . . . |
. . . . . . . . . . . . . . . . . . . . . . . . 238 |
||||
12.2.4 |
System Variables . . . . . . . . . . . . . . . . . . . . . . . |
. . |
. . |
. . |
239 |
|
12.2.5 |
Operators and Expressions |
. . . . . . . . . . . . . . . . . |
. . |
. . |
. . |
239 |
12.2.6The Print Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
12.2.7Control Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
12.3SNNS Function Calls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
12.3.1Function Calls To Set SNNS Parameters . . . . . . . . . . . . . . . . 245
12.3.2Function Calls Related To Networks . . . . . . . . . . . . . . . . . . 252
viii |
CONTENTS |
12.3.3Pattern Function Calls . . . . . . . . . . . . . . . . . . . . . . . . . . 255
12.3.4Special Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
12.4Batchman Example Programs . . . . . . . . . . . . . . . . . . . . . . . . . . 258
12.4.1Example 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
12.4.2Example 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
12.4.3Example 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
12.5Snnsbat { The predessor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
12.5.1The Snnsbat Environment . . . . . . . . . . . . . . . . . . . . . . . . 261
|
12.5.2 |
Using Snnsbat . . . . . . . . . . . . . |
. . |
. . . . . . . . . . . . . . . 261 |
||||
|
12.5.3 |
Calling Snnsbat . . . . . . . . . . . . . |
. . |
. . . . . . . . . . . . . . . 267 |
||||
13 Tools for SNNS |
|
|
|
|
|
268 |
||
13.1 |
Overview . . . . . . . . . . . . . . . . . . . . |
. . . . |
. . . . . . . . . |
. . |
. . |
268 |
||
13.2 |
Analyze . . . . . . . . . . . . . . . . . . . . . |
. . . . |
. . . . . . . . . |
. . |
. . |
268 |
||
13.2.1 Analyzing Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
13.3bignet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
13.4 |
td |
|
bignet . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . |
. . |
. . . . . . 272 |
||||||
|
||||||||||||
13.5 |
linknets . . . . . . . . . . . . . |
. . . . . . . . . . . . . . . . . |
. . |
. . . . . . 272 |
||||||||
|
13.5.1 |
Limitations . . . . . . . |
. . . . . . . . |
. . . . |
. . . . . . . . . |
. . |
. . |
274 |
||||
|
13.5.2 |
Notes on further training |
. . . . . . . |
. . . . |
. . . . . . . . . |
. . |
. . |
274 |
||||
13.5.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
13.6Convert2snns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
13.6.1 Setup and Structure of a Control, Weight, Pattern File |
. . . |
. . |
. |
. |
277 |
13.7 Feedback-gennet . . . . . . . . . . . . . . . . . . . . . . . . . |
. . . . |
. . |
. |
. |
277 |
13.8Mkhead . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
13.9Mkout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 13.10Mkpat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
13.11Netlearn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 13.12Netperf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
13.13Pat |
|
sel . . . . . . . . . . . . . . . . . . . . . . |
. . . . |
. . . . . |
. . . . . . . . 281 |
||
|
|||||||
13.14Snns2c . . . . . . . . . . . . . . . . . . . . . . |
. . . . |
. . . . . |
. . . . . . . . 281 |
||||
13.14.1 Program Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
282 |
||||||
13.14.2 Including the Compiled Network in the Own Application |
. . . . . . 283 |
||||||
13.14.3 Special Network Architectures . . . . . . . . . . . . . . . |
. . . . . . |
284 |
|||||
13.14.4Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
13.14.5Error Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
13.15isnns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
13.15.1Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
13.15.2Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288