Mạng thần kinh hồi quy (hay còn gọi là mạng thần kinh/nơ-ron tái phát, mạng thần kinh tái phát, tiếng Anh: recurrent neural network, viết tắt RNN) là một lớp của mạng thần kinh nhân tạo, nơi kết nối giữa các nút để tạo thành đồ thị có hướng dọc theo một trình tự thời gian. Điều này cho phép mạng thể hiện hành vi động tạm thời. Có nguồn gốc từ mạng thần kinh truyền thẳng, RNN có thể dùng trạng thái trong (bộ nhớ) để xử lý các chuỗi đầu vào có độ dài thay đổi. Điều này làm cho RNN có thể áp dụng cho các tác vụ như nhận dạng chữ viết tay (handwriting recognition) hay nhận dạng tiếng nói có tính chất kết nối, không phân đoạn.
Thông thường, người ta sử dụng thuật ngữ "mạng thần kinh hồi quy" không có tính hệ thống (có phần bừa bãi) nhằm để chỉ hai lớp mạng rộng với một cấu trúc chung giống nhau, cái đầu tiên là lớp mạng đáp ứng xung hữu hạn (finite impulse response) và cái thứ hai là lớp mạng đáp ứng xung vô hạn (infinite impulse response). Cả hai lớp mạng đều thể hiện hệ thống động lực theo thời gian. Mạng hồi quy xung hữu hạn là một đồ thị xoay chiều có hướng (directed acyclic graph) có thể bị mở ra và thay thế bằng một mạng thần kinh truyền thẳng chặt chẽ hơn, trong khi mạng hồi quy xung vô hạn là một đồ thị có hướng mà không thể mở ra (unrolled).
Cả hai mạng hồi quy xung hữu hạn và vô hạn có thể chứa các trạng thái lưu trữ bổ sung, và bộ nhớ có thể được kiểm soát trực tiếp bởi mạng thần kinh. Bộ nhớ cũng có thể được thay thế bằng một mạng hoặc đồ thị khác, nếu kết hợp với thời gian trễ hoặc có vòng lặp phản hồi. Các trạng thái được kiểm soát như vậy được gọi là trạng thái cổng (gated state) hoặc bộ nhớ cổng (gated memory) và là một phần của mạng bộ nhớ dài-ngắn hạn (LSTM) và bộ nhớ định kỳ được kiểm soát. Đây còn được gọi là "mạng thần kinh phản hồi" (Feedback Neural Network, FNN).
Lịch sử phát triển
Mạng thần kinh hồi quy (RNN)
Mạng thần kinh hồi quy dựa trên công trình của David Rumelhart vào năm 1986. Một loại mạng RNN đặc biệt tên Hopfield netowrks được được John Hopfield phát hiện lại vào năm 1982. Năm 1993, một hệ thống nén lịch sử thần kinh đã giải quyết một nhiệm vụ "Học rất sâu" mà yêu cầu hơn 1000 lớp chồng nhau trong RNN được mở ra kịp thời.
Long short-term memory (LSTM)
Bộ nhớ dài-ngắn hạn (LSTM) được phát minh bởi Hochreiter và Schmidhuber vào năm 1997 và thiết lập các bản ghi chính xác trong nhiều miền ứng dụng.
Khoảng năm 2007, LSTM bắt đầu cách mạng hóa khả năng nhận dạng giọng nói, vượt trội so với các mô hình truyền thống trong một số ứng dụng giọng nói. Vào năm 2009, mạng LSTM được đào tạo bởi Connectionist Temporal Classification (CTC) là RNN đầu tiên giành chiến thắng trong các cuộc thi nhận dạng mẫu khi nó giành chiến thắng trong một số cuộc thi về nhận dạng chữ viết tay được kết nối. Vào năm 2014, công ty Baidu của Trung Quốc đã sử dụng các RNN do CTC đào tạo để vượt qua tiêu chuẩn bộ dữ liệu nhận dạng giọng nói 2S09 Switchboard Hub5'00 mà không sử dụng bất kỳ phương pháp xử lý giọng nói truyền thống nào.
LSTM cũng cải thiện khả năng nhận dạng giọng nói với lượng từ vựng lớn và tổng hợp văn bản thành giọng nói và được sử dụng trong Google Android. Vào năm 2015, tính năng nhận dạng giọng nói của Google được báo cáo là đã có bước nhảy vọt đáng kể về hiệu suất 49% thông qua LSTM do CTC đào tạo.
LSTM đã phá kỷ lục về cải tiến dịch máy, Mô hình hóa ngôn ngữ (Language Modeling) và Xử lý ngôn ngữ đa ngôn ngữ. LSTM kết hợp với mạng thần kinh tích chập (CNN) đã cải thiện tính năng chú thích hình ảnh tự động.
Gated recurrent unit (GRU)
GRU được phát triển bởi Kyunghyun Cho và Yoshua Bengio năm 2014. So với mạng LSTM (Long Short-Term Memory), GRU có cấu trúc đơn giản và tối ưu hơn, có khả năng giải quyết các vấn đề trong huấn luyện dữ liệu dài và ít phức tạp hơn.
:
;Jordan network
:
:Trong đó
:*
: vecto đầu vào
:*
: vecto lớp ẩn
:*
: vecto đầu ra
:*
,
và
: cSN) có một lớp ẩn ngẫu nhiên được kết nối thưa.ác ma trận tham số và vecto bias
:*
và
: Các hàm kích hoạt
Mạng Hopfield
nhỏ|Một mạng Hopfield với bốn đơn vị
Mạng Hopfield là một RNN trong đó tất cả các kết nối trên các lớp đều có kích thước bằng nhau. Nó yêu cầu các đầu vào cố định và do đó không phải là một RNN chung, vì nó không xử lý các chuỗi mẫu. Tuy nhiên, nó đảm bảo rằng nó sẽ hội tụ. Nếu các kết nối được đào tạo bằng cách sử dụng phương pháp học tiếng Do Thái thì mạng Hopfield có thể hoạt động như một bộ nhớ định địa chỉ nội dung robust, chống lại sự thay đổi kết nối.
Bộ nhớ kết hợp hai chiều (Bidirectional Associative Memory - BAM)
Mạng bộ nhớ kết hợp hai chiều (BAM) là một biến thể của mạng Hopfield lưu trữ dữ liệu kết hợp dưới dạng vectơ. Được giới thiệu bởi Bart Kosko vào năm 1988. Tính hai chiều xuất phát từ việc truyền thông tin qua ma trận và chuyển vị của nó. Thông thường, mã hóa lưỡng cực được ưu tiên hơn so với mã hóa nhị phân của các cặp kết hợp. Gần đây, các mô hình BAM ngẫu nhiên sử dụng bước Markov đã được tối ưu hóa để tăng tính ổn định của mạng và mức độ phù hợp với các ứng dụng trong thế giới thực. Mạng BAM có hai lớp, một trong hai lớp này có thể được điều khiển làm đầu vào để gọi lại liên kết và tạo đầu ra trên lớp kia.
Echo state (ESN)
Mạng echo state (ESN) có một lớp ẩn ngẫu nhiên được kết nối thưa. Trọng số của các nơ ron đầu ra là phần duy nhất của mạng có thể thay đổi (được huấn luyện). ESN tái tạo chuỗi thời gian nhất định rất tốt. Một biến thể cho mạng thần kinh spiking được gọi là liquid state machine.
Mạng thần kinh hồi quy độc lập (Independently RNN - IndRNN)
Mạng thần kinh hồi quy độc lập (IndRNN) giải quyết các vấn đề biến mất (vanishing) và https://deepai.org/machine-learning-glossary-and-terms/exploding-gradient-problem bùng nổ gradient trong RNN được kết nối đầy đủ truyền thống. Mỗi nơ-ron trong một lớp chỉ nhận trạng thái quá khứ của chính nó dưới dạng thông tin ngữ cảnh (thay vì kết nối đầy đủ với tất cả các nơ-ron khác trong lớp này) và do đó, các nơ-ron độc lập với lịch sử của nhau. Lan truyền ngược gradient có thể được điều chỉnh để tránh hiện tượng vanishing và exploding gradient nhằm duy trì bộ nhớ dài hạn hoặc ngắn hạn. Thông tin về nơ-ron chéo được khám phá trong các lớp tiếp theo. IndRNN có thể được đào tạo mạnh mẽ với các hàm phi tuyến tính không bão hòa như ReLU. Sử dụng kết nối bỏ qua (skip connection), mạng sâu có thể được đào tạo.
Mạng thần kinh đệ quy (Recursive neural network)
nhỏ|Kiến trúc một mạng thần kinh đệ quy đơn giản
Mạng thần kinh đệ quy được tạo bằng cách áp dụng đệ quy cùng một tập trọng số trên một cấu trúc giống như đồ thị khả vi bằng cách duyệt qua cấu trúc theo sắp xếp tô pô. Các mạng như vậy thường cũng được đào tạo theo chế độ đạo hàm tự động. Chúng có thể xử lý các biểu diễn phân bố của cấu trúc, chẳng hạn như các logic toán học. Một trường hợp đặc biệt của mạng thần kinh đệ quy là RNN có cấu trúc tương ứng với một chuỗi tuyến tính. Mạng thần kinh đệ quy đã được áp dụng để xử lý ngôn ngữ tự nhiên. Mạng Tenor thần kinh đệ quy sử dụng hàm tổng hợp dựa trên tensor cho tất cả các nút trong cây.
Neural history compressor
Trình nén lịch sử thần kinh là một chồng RNN không được giám sát. Ở cấp độ đầu vào, nó học cách dự đoán đầu vào tiếp theo từ các đầu vào trước đó. Chỉ những đầu vào không thể đoán trước của một số RNN trong hệ thống phân cấp mới trở thành đầu vào cho RNN cấp cao hơn tiếp theo, do đó hiếm khi tính toán lại trạng thái bên trong của nó. Do đó, mỗi RNN cấp cao hơn nghiên cứu một biểu diễn nén của thông tin trong RNN bên dưới. Điều này được thực hiện sao cho chuỗi đầu vào có thể được tái tạo chính xác từ biểu diễn ở mức cao nhất.
👁️
1 | 🔗 | 💖 | ✨ | 🌍 | ⌚
**Mạng thần kinh hồi quy** (hay còn gọi là **mạng thần kinh/nơ-ron tái phát**, **mạng thần kinh tái phát**, tiếng Anh: **recurrent neural network**, viết tắt **RNN**) là một lớp của mạng thần kinh nhân
right|thumb|Trong một mạng truyền thẳng, thông tin luôn luôn di chuyển theo một hướng và không bao giờ theo hướng ngược lại. Trong hình là một mạng thần kinh truyền thẳng đơn giản, thông tin
Một **mạng thần kinh** là một mạng nơ-ron, hoặc theo khía cạnh hiện đại, là một mạng thần kinh nhân tạo, chứa các nơron nhân tạo hoặc các nút (node). Vì vậy một mạng thần
nhỏ|Cơ chế khả biến thần kinh là cơ chế giúp thích nghi được với sự biến đổi của môi trường, là khả năng phục hồi và tái tạo, hay học một kỹ năng mới.|273x273px **Thích
nhỏ|430x430px|BrdU (màu đỏ), thể hiện quá trình neurogenesis trong trung khu dưới hạt (SGZ) của vùng DG hồi hải mã. Hình ảnh minh họa này của Faiz và cộng sự, năm 2005. **Khoa học thần
thumb|Giải phẫu một [[nơron đa cực. ]] **Mạch thần kinh** (hay còn gọi là **mạch nơ-ron**) là một quần thể/tập hợp các nơron kết nối với nhau bởi xynap để thực hiện một chức năng
thumb|Tế bào bộ nhớ dài-ngắn hạn (LSTM) có thể xử lý dữ liệu tuần tự và giữ trạng thái ẩn của nó theo thời gian. **Bộ nhớ dài-ngắn hạn** hay **Bộ nhớ ngắn-dài hạn** (tiếng
**Transformer** là một mô hình học sâu được giới thiệu năm 2017, được dùng chủ yếu ở lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV). Giống như các
**Học sâu** (tiếng Anh: **deep learning**, còn gọi là **học cấu trúc sâu**) là một phần trong một nhánh rộng hơn các phương pháp học máy dựa trên mạng thần kinh nhân tạo kết hợp
**Việt Nam Thanh niên Cách mạng Đồng chí Hội** (chính tả cũ: Việt-Nam thanh-niên cách mệnh đồng-chí hội) là một tổ chức của Nguyễn Ái Quốc hoạt động chống lại thực dân Pháp tại Đông
**Dịch vụ mạng xã hội** (tiếng Anh: **social networking service** – **SNS**) là dịch vụ nối kết các thành viên cùng sở thích trên Internet lại với nhau với nhiều mục đích khác nhau không
Một [[bản đồ não tướng học về bộ não người có từ năm 1894. Não tướng học là một trong những nỗ lực đầu tiên liên hệ những chức năng tinh thần với những phần
thumb|alt=Một biểu đồ minh họa về ví dụ của máy Boltzmann.|Biểu đồ minh họa về một ví dụ của máy Boltzmann. Mỗi cạnh không có hướng đại diện cho sự phụ thuộc. Trong ví dụ
Liệt dây thần kinh số 7, hay còn gọi là liệt mặt, không chỉ ảnh hưởng đến thẩm mỹ khuôn mặt mà còn gây ra nhiều khó khăn trong sinh hoạt hàng ngày. Theo Tổ
Liệt dây thần kinh số 7, hay còn gọi là liệt mặt, không chỉ ảnh hưởng đến thẩm mỹ khuôn mặt mà còn gây ra nhiều khó khăn trong sinh hoạt hàng ngày. Theo Tổ
**Động kinh** là một chứng bệnh hệ thần kinh do xáo trộn lặp đi lặp lại của một số nơron trong vỏ não tạo nhiều triệu chứng rối loạn hệ thần kinh (các cơn động
**Cách mạng Tân Hợi** () còn được gọi là **Cách mạng Trung Quốc** hay **Cách mạng năm 1911** là cuộc cách mạng dân tộc dân chủ nhân dân ở Trung Quốc do những người trí
**Lịch sử tư tưởng kinh tế** là lịch sử của các nhà tư tưởng và học thuyết kinh tế chính trị và kinh tế học từ thời cổ đại đến ngày nay. Lịch sử tư
**Kinh tế chia sẻ** là một mô hình thị trường lai (ở giữa sở hữu và tặng quà) trong đó đề cập đến mạng ngang hàng dựa trên chia sẻ quyền truy cập vào hàng
**Cộng đồng mạng** (viết tắt: **_CĐM_**), hay còn được gọi là **cộng đồng trực tuyến** hoặc **cộng đồng Internet**, là một cộng đồng ảo có các thành viên tương tác với nhau chủ yếu thông
**Đại hội Đảng Cộng sản Việt Nam lần thứ XII**, được gọi chính thức là **Đại hội đại biểu toàn quốc lần thứ XII** là đại hội lần thứ 12 của Đảng Cộng sản Việt
**Cuộc cách mạng Philippines** (tiếng Filipino: Himagsikang Pilipino), hay còn được gọi là **Chiến tranh Tagalog** (tiếng Tây Ban Nha: _Guerra Tagalog_) bởi người Tây Ban Nha, là một cuộc cách mạng và các cuộc
**Hội Liên hiệp Phụ nữ Việt Nam** (tiếng Anh: _Vietnam Women's Union_, viết tắt: **_VWU_**) là một tổ chức chính trị, xã hội của phụ nữ Việt Nam, mục đích hoạt động vì sự bình
**Bắc Kinh** có lịch sử lâu dài và phong phú, nguyên truy từ cách nay 3.000 năm. Trước khi Tần Thủy Hoàng thống nhất Trung Hoa vào năm 221 TCN, Bắc Kinh là thủ đô
**Hiệp hội nghệ sĩ truyền hình Bắc Kinh** (hay **Hiệp hội tầm nhìn Bắc Kinh**) được chính quyền thành phố Bắc Kinh phê duyệt thành lập vào năm 1985 và được Liên đoàn Văn học
**Cách mạng Dân tộc Indonesia** hoặc **Chiến tranh Độc lập Indonesia** là một xung đột vũ trang và đấu tranh ngoại giao giữa Indonesia và Đế quốc Hà Lan, và một cách mạng xã hội
**Kinh tế Nhật Bản** là một nền kinh tế thị trường tự do phát triển. Nhật Bản là nền kinh tế lớn thứ ba thế giới theo GDP danh nghĩa và lớn thứ tư theo
thumb|Hình 1. Hải mã trong não người|260x260px **Hồi hải mã** (hay **hải mã**, **cấu tạo hải mã**, ; , bắt nguồn từ tiếng Hy Lạp cổ đại **_ἱππόκαμπος_**, nghĩa là con cá ngựa) là thành
**Kinh tế Hoa Kỳ** (Mỹ) là một nền kinh tế tư bản chủ nghĩa hỗn hợp với kỹ nghệ, mức độ công nghiệp hóa và trình độ phát triển rất cao. Đây không chỉ là
**Kinh tế** (Tiếng Anh: _economy_) là một lĩnh vực sản xuất, phân phối và thương mại, cũng như tiêu dùng hàng hóa và dịch vụ. Tổng thể, nó được định nghĩa là một lĩnh vực
**Phương tiện truyền thông mạng xã hội** (tiếng Anh: _social media_) là các ứng dụng hoặc chương trình được xây dựng dựa trên nền tảng Internet, nhằm tạo điều kiện cho việc tạo mới hoặc
**Kinh tế Việt Nam thời nhà Nguyễn** phản _ánh kết quả hoạt động của các_ ngành nông nghiệp, thủ công nghiệp và thương mại Việt Nam dưới sự cai trị của nhà Nguyễn thời kỳ
**Trí tuệ nhân tạo tổng quát** (**Artificial general intelligence**, hay **AGI**) là một loại trí tuệ nhân tạo (AI) trong lý thuyết, nằm giữa cận dưới và cận trên của năng lực nhận thức con
**Hội Quốc Liên** là một tổ chức liên chính phủ được thành lập vào ngày 10 tháng 1 năm 1920 theo sau Hội nghị hòa bình Paris nhằm kết thúc Thế Chiến 1. Đây là
[[Tội ác|Tội phạm - một dạng hiển nhiên của lệch lạc.]] **Sự lệch lạc**, hay còn gọi là **Sự lầm lạc**, **Hành vi lệch lạc**, (tiếng Anh: _deviance_ hoặc _deviant behavior_) là một khái niệm
nhỏ|Chân dung một quý ông ở [[Thế giới phương Tây|phương Tây (1819).]] **Gentleman** (phiên âm: [ jen-tl-mu_h_n ] ) hay cách gọi tiếng Việt: **Quý ông**, _Gentleman_ là một đặc quyền được chia sẻ giữa
**An ninh mạng (cybersecurity), an ninh máy tính (computer security), bảo mật công nghệ thông tin (IT security)** là việc bảo vệ **hệ thống mạng máy tính** khỏi các hành vi trộm cắp hoặc làm
Thông Tin Về Sản Phẩm An Cung Ngưu Hoàng Hàn Tổ Kén Đỏ 10 Viên/ HộpAn Cung Ngưu Hoàng Hoàn Kwang Dong Hàn Quốc.Hộp đỏ hoàn toàn từ thảo dược quý, với công thức thành
**Tai biến mạch máu não**, **tai biến**, **nhồi máu não** hay **đột quỵ** (Tiếng Anh gọi là _stroke_) là một dạng bệnh lý trong đó lưu lượng máu đến não giảm đi dẫn đến việc
nhỏ|phải|Một con [[bò được trang điểm hoa văn ở Sisdağı, Thổ Nhĩ Kỳ, con bò được nhắc đến rất nhiều trong Kinh sách của đạo Hồi]] **Động vật trong Hồi giáo** là quan điểm, giáo
**Xã hội thông tin** là một xã hội nơi việc sử dụng, sáng tạo, phân phối, thao túng và tích hợp thông tin là một hoạt động kinh tế, chính trị và văn hóa quan
**Giáo hội Công giáo**, gọi đầy đủ là **Giáo hội Công giáo Rôma**, là giáo hội Kitô giáo được hiệp thông hoàn toàn với vị giám mục giáo phận Rôma, hiện tại là Giáo hoàng
**Bệnh viện Tâm thần Trung ương 1** có tiền thân là Khu điều dưỡng thương – bệnh binh miền Nam tập kết ra Bắc, nằm tại xã Hòa Bình, huyện Thường Tín, thành phố Hà
Giới thiệu An Cung Ngưu Hoàng Hoàn Kwangdong Nội Địa Hàn Quốc Hộp Đỏ Hình Tổ KénTheo y dược cổ truyền, An Cung Ngưu Hoàng Hoàn có công dụng đặc bệt trong thanh nhiệt, giải
**Đại hội Đảng Nhân dân Cách mạng Lào khóa V** () được tổ chức từ ngày 27 đến ngày 29 tháng 3 năm 1991 tại thành phố Viêng Chăn. Đại hội có 367 đại biểu
nhỏ|phải|Hình vẽ về thần Moloch **Moloch**, đôi khi cũng được đánh vần là **Molech** hay **Milcom** hoặc **Malcam** (tiếng Do Thái: מֹלֶךְ, mōlek - Tiếng Hy Lạp: Μολόχ - tiếng Ả rập: ملك - tiếng
Đền thờ thần Cao Sơn sau hang sáng ở [[chùa Bái Đính, Ninh Bình]] **Thần Cao Sơn** (Chữ Hán: 神高山) hay **Cao Sơn đại vương** là tên gọi của nhiều vị thần khác nhau trong
Karl Marx, người sáng lập ra học thuyết kinh tế chính trị Marx - Lenin **Kinh tế chính trị Marx-Lenin** hay **kinh tế chính trị học Marx-Lenin** là một lý thuyết về kinh tế chính
**Ngôn ngữ học xã hộ**i (_Sociolinguistics_) là ngành học nghiên cứu ảnh hưởng của bất kỳ và tất cả các lĩnh vực xã hội, bao gồm các khái niệm văn hóa, kỳ vọng và ngữ
thumb|Biểu tượng của giới thuộc hệ nhị phân. Trong đó, vòng tròn đỏ chỉ cho phái nữ (Venus), vòng tròn xanh chỉ phái nam (Mars).|thế= nhỏ|Biểu tượng của phi nhị giới. **Giới tính xã hội**