Neuromorphic Computing based on Memristor

Phạm Phú Quân

Các máy tính kỹ thuật số thông thường đang gặp phải nút thắt cổ chai von Neu- mann do quá trình tìm nạp, giải mã và thực thi các lệnh phức tạp trong quá trình tính toán bởi sự rời rạc và phải luôn chuyển dữ liệu từ bộ nhớ đến bộ xử lý [1–3]. Vì vậy, cần xây dựng các kiến trúc máy tính mới để đối mặt với thách thức này. Bộ não sinh học có thể xử lý hiệu quả nhiệm vụ tính toán phức tạp do sự kết hợp nội tại của vừa lưu trữ và vừa tính toán. Hiện tại, trở nhớ (memristor) hai đầu cuối, trong đó độ dẫn của thiết bị có thể được điều chỉnh bằng cách kiểm soát điện trường áp đặt vào nó, đã được đề xuất rộng rãi như một khớp thần kinh nhân tạo để thực hiện việc vừa lưu trữ và tính toán. 

Ba yếu tố hiện đang thúc đẩy sự phát triển chính của trí tuệ nhân tạo (Artificial Intelligent - AI) bao gồm: sự sẵn có của lượng dữ liệu khổng lồ (big data), sức mạnh tính toán không ngừng tăng và những đổi mới về thuật toán. Các đơn vị xử lý đồ họa (Graphics Processing Unit - GPU) đã được chứng minh là bộ xử lý hiệu quả để triển khai các thuật toán học máy (Machine Learning - ML) dựa trên học sâu (Deep Learning - DL). Các giải pháp dựa trên việc triển khai DL và GPU đã dẫn đến những cải tiến lớn trong nhiều tác vụ AI, nhưng cũng gây ra sự gia tăng theo cấp số nhân về nhu cầu sức mạnh tính toán. Các phân tích gần đây cho thấy nhu cầu sức mạnh tính toán đã tăng lên gấp 300.000 lần kể từ năm 2012 và ước tính rằng nhu cầu này sẽ tăng gấp đôi sau mỗi 3,4 tháng - đây là một tốc độ nhanh hơn nhiều so với những cải tiến của Moore, chỉ gấp 7 lần so với cùng một khoảng thời gian [1]. Đồng thời, định luật Moore đã chậm lại đáng kể vì có những dấu hiệu rõ ràng rằng chúng ta sẽ không thể tiếp tục thu nhỏ mãi các bóng bán dẫn bán dẫn CMOS. Điều này đòi hỏi phải khám phá các lộ trình công nghệ thay thế để phát triển AI hiệu quả và có thể mở rộng.

Xem xét trên khoa học thần kinh (neuroscience), các tế bào thần kinh (neurons) thực giao tiếp bằng cách sử dụng các xung điện ion (spikes of potential), các xung điện đó được truyền đi thông qua khớp thần kinh (synapse) (Hình 1.a) [2]. Khớp thần kinh thực hiện cơ chế giao tiếp thông qua sự phóng đi các xung điện ion, từ đó thay đổi giá trị trọng số (weight) của chúng. Hơn nữa, trọng số này được cập nhật liên tục cho mỗi giao tiếp. Các khớp thần kinh tạo một mạng lưới kết nối chằn chịt giữa các tế bào thần kinh, từ đó tạo nên mạng lưới thần kinh sinh học. Mạng thần kinh nhân tạo (Artificial Neural Network - ANN)) là một mạng lưới thần kinh được phát triển dựa trên sự mô phỏng cơ chế hoạt động của mạng thần kinh sinh học, trong đó, đầu ra của mỗi đơn vị thần kinh nhân tạo là một kích hoạt đa giá trị thường được mô tả như một đại diện (proxy) cho tốc độ kích hoạt (firing rate) của tế bào thần kinh thực, hoặc như một thước đo hoạt động trung bình của một nhóm tế bào thần kinh [3]. Tuy đã có thể triển khai được ML theo ANN, nhưng kiến trúc von-Neumann khiến quá trình cập nhật trọng số bị hạn chế bởi nút cổ chai về sự luân chuyển dữ liệu, vốn nó tách biệt hoàn toàn giữa lưu trữ và tính toán. Cách tiếp cận này gây ra tắc nghẽn hiệu suất, lý do chính dẫn đến sự kém hiệu quả về cả năng lượng và tốc độ của ML trên các nền tảng phần cứng thông thường do di chuyển dữ liệu tốn kém. Tuy nhiên. Sâu sắc hơn nữa, trên thực tế các thành phần CMOS vốn đã không phù hợp để triển khai một số lượng lớn các trọng số/khớp thần kinh liên tục trong các mạng thần kinh nhân tạo (Artifical Neural Network).

Hình 1. a) Cấu tạo một khớp thần kinh sinh học và cấu trúc memristor. b) Hai dạng chuyển mạch điện trở tương tự (analog) và kỹ thuật số (digital)  [2,7].

Mặc dù công nghệ memristor hiện vẫn đang được phát triển, nhưng nó là một ứng cử viên sáng giá cho các giải pháp điện toán không phải CMOS và xa hơn nữa là không dựa trên von-Neumann trong tương lai [4]. Kể từ khi được phát triển lần đầu vào năm 2008 [5], hoặc thậm chí sớm hơn dưới nhiều tên gọi khác nhau [6], công nghệ memristor đã mở rộng đáng kể để bao gồm nhiều giải pháp vật liệu, cơ chế vật lý và phương pháp tính toán mới. Memristor (Hình 1.a) là thiết bị hai cực đơn giản với đặc tính đặc biệt là điện trở của chúng phụ thuộc vào lịch sử kích thích điện trước đó. Nói cách khác, memristor là điện trở có khả năng ghi nhớ. Chúng có nhiều hứa hẹn bởi mức độ tích hợp cao, trạng thái điện trở không khả biến ổn định, chuyển đổi điện trở nhanh và hiệu quả năng lượng tuyệt vời - tất cả các đặc tính rất đáng mơ ước cho thế hệ công nghệ bộ nhớ tiếp theo. Memristor được triển khai ứng dụng rất rộng bao gồm nhiều công nghệ khác nhau, chẳng hạn như bộ nhớ truy cập ngẫu nhiên đảo điện trở (ReRAM), bộ nhớ thay đổi pha (PCM) và bộ nhớ truy cập ngẫu nhiên từ trở (MRAM).

Trong cách triển khai đơn giản nhất của memristor, có ba lớp gồm hai điện cực dẫn điện và một lớp chuyển mạch mỏng được kẹp ở giữa. Chuyển đổi điện trở (resistive switching) là một trong những thuộc tính được khám phá nhiều nhất của các thiết bị ghi nhớ. Một màng cách điện mỏng thay đổi thuận nghịch điện trở của nó giữa trạng thái cách điện và trạng thái dẫn điện dưới tác dụng của một kích thích điện bên ngoài. Đối với ứng dụng cho các thiết bị bộ nhớ nhị phân, hai trạng thái ổn định thường được gọi là trạng thái điện trở cao (High Resistance State - HRS) và trạng thái điện trở thấp (Low Resistance State - LRS). Quá trình chuyển đổi từ HRS sang LRS được gọi là quá trình SET, trong khi RESET là quá trình chuyển đổi ngược lại từ LRS sang HRS (Hình 1.b).

Đối với tác vụ tính toán, cần có nhiều hơn hai trạng thái điện trở, đây là lí do chính mà một bóng bán dẫn trở nên mất vị thế cho mô hình tính toán mới. Trong lịch sử, các khớp thần kinh nhân tạo đã được mô phỏng bởi các mạch CMOS sử dụng hàng chục bóng bán dẫn [8], tiêu tốn diện tích và năng lượng đáng kể trên chip; do đó, cách tiếp cận này không khả thi đối với tích hợp quy mô lớn. Đối với hầu hết các thiết bị memristor, nó có thể đạt được nhiều trạng thái điện trở khác nhau, hành vi chuyển mạch với nhiều trạng thái điện trở này được mô tả là chuyển mạch điện trở tương tự (analog resistive switching) (Hình 1.b).

Hình 2. Tương quan cấu trúc tính toán của kiến trúc von-Neumann (CPU, GPU) và kiến trúc “In memory-computing” (memristor).

Một tính năng độc đáo của các thiết bị memristor là khả năng đồng bộ hóa bộ nhớ và điện toán, phá vỡ nút thắt cổ chai von-Neumann. Điều này giúp sử dụng memristor không chỉ để lưu trữ dữ liệu mà còn để thực hiện tính toán tại cùng một vị trí thực tế. Khi các trọng số được triển khai dưới dạng dẫn điện memristor, thì không cần phải di chuyển dữ liệu tiêu thụ nhiều năng lượng theo yêu cầu của các hệ thống kỹ thuật số thông thường dựa trên kiến trúc von-Neumann (mô hình hóa được trình bày trong Hình 2).

Các nghiên cứu đã chứng minh rằng các memristor có thể trực tiếp thực hiện một số chức năng của các tế bào thần kinh logic sinh học và các khớp thần kinh, quan trọng nhất là tính dẻo giống như khớp thần kinh, cũng như sự tích hợp và tăng đột biến giống như tế bào thần kinh. Trong các giải pháp này, thông tin được mã hóa và truyền dưới dạng các xung điện áp hoặc dòng điện. Điện trở memristor được sử dụng làm đại diện cho cường độ khớp thần kinh (synaptic strengths). Quan trọng hơn, việc điều chỉnh các điện trở được kiểm soát theo các quy tắc học tập cục bộ. Trong một ví dụ đơn giản, độ dẫn của khớp thần kinh memristor có thể tăng hoặc giảm tùy thuộc vào mức độ chồng chéo giữa các xung điện áp trước và sau khớp thần kinh. Điện toán dựa trên các xung đột biến (Spike NN) hứa hẹn những cải tiến hơn nữa về hiệu quả sử dụng năng lượng, lấy cảm hứng từ hiệu quả vượt trội của bộ não con người.

Điều quan trọng cần lưu ý là tồn tại nhiều thách thức liên quan đến việc áp dụng đầy đủ các công nghệ memristor. Để đạt được sự mô phỏng khớp thần kinh sinh học hoàn hảo nhất của memristor cần có những nghiên cứu chuyên sâu về vật liệu, cấu trúc của chúng.

Tài liệu: 

[1]  D. Amodei, D. Hernandez, AI and Computer, https://openai.com/blog/ai-and-compute/.

[2] S. H. Jo, T. Chang, I. Ebong, B. B. Bhadviya, P. Mazumder, and W. Lu, Nanoscale Memristor Device as Synapse in Neuromorphic Systems, Nano Lett 10, 1297 (2010).

[3] S. Davidson and S. B. Furber, Comparison of Artificial and Spiking Neural Networks on Digital Hardware, Front Neurosci 15, 345 (2021).

[4]  D. Ielmini and R. Waser, Resistive Switching : From Fundamentals of Nanoionic Redox Processes to Memristive Device Applications, (n.d.).

[5] D. B. Strukov, G. S. Snider, D. R. Stewart, and R. S. Williams, The Missing Memristor Found, Nature 2008 453:7191 453, 80 (2008).

[6] K. Szot, W. Speier, G. Bihlmayer, and R. Waser, Switching the Electrical Resistance of Individual Dislocations in Single-Crystalline SrTiO3, Nature Materials 2006 5:4 5, 312 (2006).

[7] W. Xu, J. Wang, and X. Yan, Advances in Memristor-Based Neural Networks, Frontiers in Nanotechnology 3, 20 (2021).

[8] S. Yu, B. Gao, Z. Fang, H. Yu, J. Kang, and H. S. P. Wong, A Low Energy Oxide-Based Electronic Synaptic Device for Neuromorphic Visual Systems with Tolerance to Device Variation, Advanced Materials 25, 1774 (2013).

---